- 博客(10)
- 收藏
- 关注
RSS订阅原创 爬虫学习中的一些小工具
爬虫学习中的一些小工具1.Xpathchrome插件商店中安装xpath helper2.proxychrome插件商店中安装proxy3. selenium中使用的driver各个浏览器需要下载对应的，这里只说明chrome的浏览器中下载与chrome版本对应的driver，链接，淘宝镜像下载完放入Python/script下就可以直接用了，无64位，只有32位...
2021-03-27 17:58:42
97
原创 爬虫学习05
爬虫学习05ModuleNotFoundError: No module named ‘scrapy.contrib’------使用ImagesPipeline时候–参考官方文档报错的原因没有这个包，这个包from scrapy.pipelines.images import ImagesPipeline这样子正确的写法（注意注释）ITEM_PIPELINES = { # 'tupian.pipelines.ImagePipeline': 300, 'scrapy.pip
2021-03-27 17:58:08
85
原创 爬虫学习04
爬虫学习04进行写入文件的过程中出现报错，发现是类型问题str通过encode()方法可以编码为指定的bytes；反过来，如果我们从网络或磁盘上读取了字节流，那么读到的数据就是bytes。要把bytes变为str，就需要用decode()方法；str = 'this is fujieace.com test'str = str.encode()str = 'this is fujieace.com test'os.write(fd,bytes(str,'UTF-8'))使用 Pyth
2021-03-27 17:57:32
85
原创 爬虫学习03
爬虫学习03pip了lxml包之后出现错误，未解析的引用 ‘etree’从python3.5版本后不能直接lxml.etree模块了from lxml import html用html.etree替代老etreefrom lxml import html# etree = html.etreee = etree.HTML(response.text) TypeError: init() takes 1 positional argument but 2 were given初始是没
2021-03-27 17:56:58
417
原创 爬虫学习02
爬虫学习02爬取贴吧页面时出现文件保存后为空get_html函数中的print使文件指针到了最后，所以保存为空，注释即可使用http://httpbin.org/get可以查看ip代理ip可以去 快代理 找命令行输入python -v和python -V有区别python -V等同于python --version,即将python版本打印并退出pythonpython -v （小写）是以一种特殊模式进入 python，该模式下每次有模块被初始化就会打印相应信息，展示载入的模块名或者内置
2021-03-27 17:56:28
61
原创 爬虫学习01
爬虫学习01安装第三方库fake_useragent时出现问题为pip版本过低，在cmd中输入：easy_install -U pip使用pip list查看python中安装了那些第三方库假如像我一样手一滑把pip下载了，可以进入https://pypi.org/project/pip/#files这里下载pip，然后解压，进入解压后的文件夹，输入python setup.py install安装pip之后可以通过pip看结果之后顺利安装fake_useragent国内镜像源http
2021-03-27 17:55:55
172
原创 python爬虫 双色球数据更新
python爬虫 双色球数据更新解析网站并获取数据# 彩票数据所在的urlurl = 'http://datachart.500.com/ssq/'# 提取数据response = requests.get(url, headers={"User-Agent": UserAgent().chrome})# 通过xpath去解析e = etree.HTML(response.text)date_times = e.xpath('//tbody[@id="tdata"]/tr/td[1]/t
2021-03-27 17:54:50
492
1
原创 VMware Workstation Pro15 安装CentOS踩坑
VMware Workstation Pro15 安装CentOS踩坑1.安装虚拟机出现蓝屏安装时把硬件中的打印机等移除即可2.安装centos7的时候 启动会提示Please make your choice from above问题解决依次输入 1 、2、q、yes 就可以了3.安装图形界面开启系统，以root身份进入安装X(X Window System)，命令如下： yum groupinstall "X Window System"其中大约有200多个软件，安装完成会出
2021-03-27 17:52:46
383
1
原创 typora+picgo+gitee个人图床写作踩坑
typora+picgo+gitee个人图床写作踩坑picgo中自带的插件市场无法使用，利用npm命令安装检查npm安装情况，npm -v使用管理员身份打开命令提示符进入picgo的目录，cd C:\Users\用户名\AppData\Roaming\picgo，进入picgo目录，输入npm install picgo-plugin-插件名称安装插件出现npm ERR! code ETIMEDOUT npm ERR! errno ETIMEDOUT npm ERR! network和rollb
2021-03-27 17:51:21
211
原创 CENTOS7错误:Cannot find a valid baseurl for repo: base/7/x86_6 获取ip地址
CENTOS7错误:Cannot find a valid baseurl for repo: base/7/x86_6 获取ip地址问题这表示无法链接到网线。要解决Cannot find a valid baseurl for repo: base/7/x86_6 这个问题，只需要两步即可。解决方案1、进入/etc/sysconfig/network-scripts目录，查找ifcfg开头的文件，将配置ONBOOT=no，改为ONBOOT=yes具体命令如下：cd /etc/sysconfi
2021-03-27 17:48:07
293
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人