![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
荣耀王者荣耀
这个作者很懒,什么都没留下…
展开
-
python 字符串(string) format介绍和代码
你可以用字符串的format方法来格式化输出字符串。 比如; >>> print 'We are the {0} who say "{1}!"'.format('knights', 'Ni') We are the knights who say "Ni!" 括号内的字符(称为格式字段)被替换的对象。{}括号中的数字是指替换的位置,里面的数字,比如0,1表示替换元组的索引位置。转载 2017-04-03 11:41:20 · 185 阅读 · 0 评论 -
scrapy shell 爬取一些网站不响应
在爬去京东某商品网页时,如https://search.jd.com/Search?keyword=%E6%83%A0%E6%99%AE&enc=utf-8&suggest=1.his.0.0&wq=&pvid=d66c3ae3039d42b09f015585015ef653 实际上用 https://search.jd.com/Search?keyword=惠普&enc=utf-8原创 2017-11-19 21:43:08 · 3141 阅读 · 0 评论 -
centos 下zookeeper 集群模式的安装和配置
centos7 对每台主机 1.安装jdk 2.zookeeper安装 不同之处是,在conf/zoo.cfg上 server.1=192.168.1.178:20881:30880 server.2=192.168.1.222:20881:30881 http://blog.csdn.net/tilyp/article/details/72780851 3.两台主机能通信原创 2017-12-08 14:48:52 · 155 阅读 · 0 评论 -
scrapy splash 实现下滑加载
实现滚轴下拉加载页面的splash script(Lua 脚本) 方法1 function main(splash, args) splash:set_viewport_size(1028, 10000) splash:go(args.url) local scroll_to = splash:jsfunc("window.scrollTo") scroll_to(0,原创 2017-11-23 16:47:57 · 4545 阅读 · 1 评论 -
selenium 爬虫
https://www.cnblogs.com/Snail-offort/p/8761652.html Selenium 的初衷是打造一款优秀的自动化测试工具,但是慢慢的人们就发现,Selenium 的自动化用来做爬虫正合适。我们知道,传统的爬虫通过直接模拟 HTTP 请求来爬取站点信息,由于这种方式和浏览器访问差异比较明显,很多站点都采取了一些反爬的手段,而 Selenium 是通过模拟浏览器...转载 2018-09-04 16:35:14 · 353 阅读 · 0 评论 -
selenium实现爬取隐藏标签的内容
js1 = '''var x = document.evaluate("'''+loop_xpath+'''",document,null,XPathResult.UNORDERED_NODE_SNAPSHOT_TYPE,null); var i; console.log(x.snapshotLength) for (i = ...原创 2018-12-03 11:40:32 · 5533 阅读 · 0 评论