- 博客(7)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 python操作hdfs
原文：https://www.cnblogs.com/Jims2016/p/8047914.html可以使用python的hdfs库（资料https://pypi.org/project/hdfs/），pip下载即可# !coding:utf-8import sysfrom hdfs.client import Client# 关于python操作hdfs的API可以查看官网...
2018-06-29 17:24:02
19777
转载 Scrapy+ChromeDriver+Selenium爬取动态html页面
原文：https://blog.csdn.net/qq_30242609/article/details/70859891Headless组件ChromeDriverselenium3.x已经不支持PhantomJS，所以可以使用firifox或者chrome的headless方案SeleniumSelenium是一个自动化的测试工具，这里主要用到了它的Webdriver操作浏览器。python下...
2018-06-29 10:36:16
9394
3
转载 scrapy利用xpath抓取数据的值有\r\n\t
原文：https://www.cnblogs.com/VseYoung/p/8689171.html利用normalize-space 函数 (XPath)即可item['time'] = sel.xpath('normalize-space(./span[4]/span[1]//text())').extract()把xpath表达式作为normalize-space(）函数的参数...
2018-06-06 17:24:44
6281
3
转载 anaconda安装scrapy后运行报错ImportError: DLL load failed: 操作系统无法运行 %1。
本人在win7下没问题，win10才有问题转自：https://tennc.github.io/2016/09/30/anaconda-install-scrapy-tips/安装了anaconda后，也成功安装了scrapy，但是到scrapy新建项目时，直接报错。错误如下：12from cryptography.hazmat.bindings._openssl import ffi, libI...
2018-06-06 00:31:39
2173
转载 scrapy中修改爬取数据的输出编码为utf-8
本人是scrapy1.5版本在scrapy的settings.py文件中添加如下设置# 修改编码为utf-8FEED_EXPORT_ENCODING = 'utf-8'旧的版本可能不行
2018-06-05 18:09:12
9748
3
转载 pycharm打开、执行调试scrapy程序
原文：http://www.jb51.net/article/129346.htmpycharm下打开、执行并调试scrapy爬虫程序的方法转载 更新时间：2017年11月29日 11:05:30 作者：轰_HONG 我要评论本篇文章主要介绍了pycharm下打开、执行并调试scrapy爬虫程序的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧首先得有一...
2018-06-05 17:10:40
1841
原创 利用anaconda作为python的依赖库管理
python自带的pip管理依赖库太麻烦，pip很多库不存在，或者一些库并不支持window系统。而且每次用pip下载库经常不成功，结果还是要手动下载跟自己python对应的whl包安装库。遇到了很多坑之后，发现神奇anaconda，便查阅资料，整理好记录到这里1、下载anacondaanaconda可以提供了python的很多库管理，支持多个系统下载地址：https://www.anaconda...
2018-06-05 14:46:39
5122
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人