spider
泥鳅812
这个作者很懒,什么都没留下…
展开
-
Scrapy by requests & bs4
#!/usr/bin/env python# -*- coding: utf-8 -*-import timeimport requestsfrom bs4 import BeautifulSoupstart = time.clock()url = 'http://news.sina.com.cn/china/'res = requests.get(url)res.encoding =原创 2017-01-31 20:30:57 · 704 阅读 · 0 评论 -
Python——re.search().group()
import rea = "123abc456"print re.search("([0-9]*)([a-z]*)([0-9]*)",a).group(0) #123abc456,返回整体print re.search("([0-9]*)([a-z]*)([0-9]*)",a).group(1) #123print re.search("([0-9]*)([a-z]*)([0-9]*原创 2017-09-01 10:28:29 · 28378 阅读 · 0 评论 -
WebQQ retcode 说明
WebQQ retcode 说明原创 2017-06-25 02:53:21 · 1060 阅读 · 0 评论 -
GET请求和POST请求的区别
RFC规范:1.GET 被强制服务器支持;2.浏览器对URL的长度有限制,所以GET请求不能代替POST请求发送大量数据;3.GET请求发送数据更小;4.GET请求是安全的;5.GET请求是幂等的;6.POST请求不能被缓存;7.POST请求相对GET请求是「安全」的。原创 2017-06-07 17:44:25 · 305 阅读 · 0 评论 -
移动设备user_agent
more_link: http://yuncode.net/article/a_512715c7a368c35●iOS7 Mozilla/5.0 (iPhone; CPU iPhone OS 7_1_2 like Mac OS X) AppleWebKit/537.51.2 (KHTML, like Gecko) Version/7.0 Mobile/11D257 Safari/9537.53●i原创 2017-04-30 18:04:08 · 365 阅读 · 0 评论 -
cssselectVSxpath
cssselectVSxpath#soupsoup = BeautifulSoup(html, 'lxml')print(type(soup))#lxmlfrom lxml import etreetree = etree.HTML(html)print(type(tree))t1 = time.time()for i in range(10000): td1 = tree.c原创 2017-04-29 08:32:03 · 446 阅读 · 0 评论 -
数据库端口号
数据库端口号mongodb: localhost: 27017.sqlserver默认端口号为:1433URL:"jdbc:microsoft:sqlserver://localhost:1433;DatabaseName=dbname"DRIVERNAME:"com.microsoft.jdbc.sqlserver.SQLServerDriver";mysql 默认端口号为:3306原创 2017-05-29 18:55:55 · 332 阅读 · 0 评论 -
get_ip_address
#!usr/bin/env python# -*- coding: utf-8 -*-""""""import jsonfrom urllib.request import urlopendef get_country(ip_address): '''Get ip_address! ''' response = urlopen("http://freegeoip.net原创 2017-01-31 20:54:21 · 587 阅读 · 0 评论 -
基于python3,抓取韩寒博客文章
完整代码如下:# -*- coding: utf-8 -*-import urllibimport timeurl = ['']*350 #实际只有316篇page = 1link = 1while page <= 7: con = urllib.request.urlopen('http://blog.sina.com.cn/s/articlelist_1191258123_原创 2015-10-04 02:40:50 · 1103 阅读 · 0 评论 -
fiddler APP
【HTTP】Fiddler(一) - Fiddler简介【HTTP】Fiddler(二) - 使用Fiddler做抓包分析Python 爬虫|深入请求(三):http协议以及fiddler的使用App fiddler原创 2017-06-23 10:18:32 · 964 阅读 · 0 评论