Python
SugarChoc
这个作者很懒,什么都没留下…
展开
-
【Python爬虫】反扒机制与高并发爬虫设计
一、服务器反扒机制及策略1. 反扒机制1.1 User-Agent限制解决方案:拷贝浏览器的头信息用Fakeuseragent模块pip install fake-useragent1.2 短时间内限制IP访问次数解决方案:采用IP代理,利用代理网站爬取多个代理IP2. 账户控制2.1 限制页面登陆解决策略:登陆网站后,记录Cookies的值2.2 账户IP异常登陆...原创 2018-10-06 22:10:52 · 4964 阅读 · 0 评论 -
【Python 数据分析基础】
一、Python基础1. glob 模块读取多个文件for input_file in glob.glob( input, '*.txt'): #这个是使用 *.txt结尾的文件名匹配 with open(input_file, 'r', newline='') as f: for row in f: pass2. 写入文本文件python 有两种写入文件方式:writ...原创 2018-10-18 23:46:53 · 128 阅读 · 0 评论 -
【Pandas 新手练习题】
Pandas 新手练习题GitHub的链接:pandas_excercise_github仅摘录不熟练的语句,详细内容请查看上述链接1、得到和认识你的数据介绍 pandas 中几个常用的函数和属性df.head()df.tail()df.shapedf.infodf.columnsdf.indexdf.groupby([])df.sort_value(['column_na...原创 2018-11-11 22:49:45 · 1602 阅读 · 0 评论 -
【selenium 初学】
Phonetomjs基于 webkit 的 javascriptApidownload urlmirror urladd to environment variablesSelenuimdriver:chorme versionfirefox versionadd to environment variablesselenuim version should suit ...原创 2019-01-27 17:11:39 · 145 阅读 · 0 评论 -
【Python 基础】Numpy 模块
user_docsarrayimport numpy as nparray(object,dtype=None,copy=True,order='K',subok=False,ndmin=0)# obj: data# dtype: data type# order: list# ndmin: dimintionnd = np.array((1,2,3,4))nd.dtypend...原创 2019-02-05 20:34:01 · 125 阅读 · 0 评论 -
【Python 基础】Matplotlib模块
MatplotlibJupyter 下是使用: % matplotlib inlineimport matplotlib.pyplot as pltplt.plot([1,2,3])plt.xlable('')plt.ylable('')plt.show()plot(x, y)plot(x1, y1, x2, y2)plot(y)plot[x, y, [fmt]]plt.t...原创 2019-02-06 11:46:36 · 204 阅读 · 0 评论 -
【Matplotlib】设置X轴坐标显示为月份
import calendardaysbym = []for i in range(1, 13): daysbym.append(calendar.monthrange(2016, i))dt = np.dtype([('weekday','i4'),('dnum','i4')])date_arr = np.array(daysbym, dtype=dt)date_arr['...原创 2019-02-06 15:49:05 · 8197 阅读 · 0 评论 -
【Python 基础】Urllib模块的基础(Introduction of Urllib module)
Urllib moduleTo gain server resourceurllib.request # process protocals extended huburllib.response # urllib.parse # parse urlurllib.error # error classreq = request.urlopen(url, data, tim...原创 2019-01-29 22:30:46 · 97 阅读 · 0 评论