最近几天真是超级超级不顺,如果敲代码也有水逆的话,那我大概是在水逆期吧。实在想记录一下娱乐大众。
First我换了电脑,嗯实习生电脑居然配置居然比我还好,公司果然是随机发的。同事一直不让实习生上工,所以我趁这个时候和实习生换换用哈哈,到时候再跟管电脑的申请下,流程我现在已经大概了解了哈哈好像很简单唉。
换了电脑当然就是挪资料装环境啦啦啦,除了挪资料的时候不知道为啥系统崩了重装了次系统来说一切都很好。反正还没开始装软件随便重装哈哈~
然后接了一个活,要爬某某和某某大型招聘网站,奈斯,这活我觉得行~然后观察了分析了下就准备开爬。欸,就是干!F12从网站解析完拿excel整理了下心里美滋滋就写代码,网上找了几个代理ip,用net/http客户端设了一下请求头发送就等着接response正则匹配一下,这流程我熟 ~ 然后嘿大网站果然就是大网站,比以前搞得高了不知道多少居然有反爬,要验证哦难搞。
这可难不倒我,百度在手天下我有,天下没有前人没有做过的项目,很棒。然后我就开始疯狂的装环境配软件之旅了…
首先先整个selenium,再整个chromedriver,问题就来了…提示没有“java" not found,装!emm也不知道是我老眼昏花还是鬼迷心窍,打开浏览器就装了个gcc,运行一看还是报错,定睛一看嗯???我在干什么不是提示Java吗我傻逼了吧,简单,再装个java呗。
接下来,找到和chrome浏览器版本对应的chromedriver,找找找找不到,到处找找不到,有chrome没chromedriver,有chromedriver没chrome,气死我算了。好不容易对上了,又有新的问题,找不到chrome二进制文件。
我觉得是没安装好勒,卸载了又重新安装,还是这个问题。感谢有百度,百度一下,我就知道。原来是没有安装到默认路径,那我大不了安装到默认路径?安呗,小事,还是不行,找得到了但又提示获取不到版本信息。因为我的安装包不是从官网下的那种嗯怎么说开发版,我看了下安装完文件夹内有个.exe(也能打开浏览器),文件夹内APP文件夹内又有个.exe。蛮疑惑的,两个是有啥不一样吗。
既然安装到默认路径还不行,那我再百度百度,说可以在代码里设置,都是python、java的代码,我想快点直接弄好,又打开google看了下,有人说可以配置环境变量解决,这不美滋滋,都不用每次再写了。那我搞个环境变量,还是一样的错误,这我百思不得其解,心血来潮想看看两个.exe文件有啥不一样,一看茅塞顿开,一个几M,一个才几百k,这我秒悟了。
算了不想写了,就成功路上总有n多绊脚石吧。
大概记一下后续遇到的问题,具体报错看见就能想起,不看见还真回忆写不出来:
1.postgres 建立本地连接失败,好像是win10很常见的一个问题
1. 进入pgsql目录下。
2.
.\bin\initdb -D .\data -E UTF8
3.
.\bin\pg_ctl -D .\data start
4.
create user root with superuser password '123456';
创建root账户 或者图形界面的话就创建postgres账户
2.安装mysql安装到C盘了,卸载卸不干净。这没什么好说的,百度上一大把,就是真的麻烦。
3.安装mysql过程中快最后一步了吧,start server那失败,很多人说是mysql没卸干净,有这种情况,看报错我的是用户账户控制权限问题,这也很好解决,百度上也有。
4.终于进入正题了,是chrome一个代理连接失败的问题,说到这emm百度还是有点坑人的,不,坑的不是百度是我。虽然最后还是看的中文博客解决的,但是还是用了google检索到,概括一下就是百度比较贴近生活,google相对专业?
简述一下,是一个设置的问题,说啥的都有,是chrome"-proxy-server=" + proxyIp
参数设置的问题,<-这里我的一个解决。proxyIp不用加http//,会自动添加,proxy-server前只用加一个-
。
完事。
剩下的继续搞。