- 博客(31)
- 收藏
- 关注
RSS订阅原创 232day(简单获取JS动态内容)
《2018年5月31日》【连续232天】标题：简单获取JS动态内容；内容：今天遇到了如何获取由JS动态生成的HTML内容的问题，就搜索了一下：以今日头条为例：源代码基本看不到静态内容，所以要借助开发者工具:随便点一个：找到接口网址：https://www.toutiao.com/stream/widget/local_weather/city/进去是一堆...
2018-05-31 02:10:19
97
原创 231day（淘宝商品比价定向爬虫）
《2018年5月29日》【连续231天】标题：淘宝商品比价定向爬虫；内容：A.淘宝商品比价定向爬虫：requests + re:import requestsimport redef getHTMLText(url): try: r = requests.get(url, timeout = 30) r.raise_for_st...
2018-05-30 00:19:54
340
原创 230day（正则表达式，Re库基本使用）
《2018年5月28日》【连续230天】标题：正则表达式，Re库基本使用；内容：A.正则表达式的语法：例：匹配IP地址的正则表达式：（([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5]).）{3}([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5])B.正则表达式的表达类型：raw string:原生字符串，r'te...
2018-05-28 23:04:44
96
原创 229day（实例：中国大学排名爬虫）
《2018年5月27日》【连续229天】标题：实例：中国大学排名爬虫；内容：1.中国大学排名爬虫：import requestsimport bs4from bs4 import BeautifulSoup def getHTMLText(url): try: r =requ...
2018-05-27 23:22:33
202
原创 228day(信息组织和提取方法)
《2018年5月26日》【连续228天】标题：信息组织和提取方法；内容：1.基于bs4的HTML格式化和编码：.prettify2.信息标记的三种形式：XML, JSON：有类型键值对，键值对嵌套用{ , }YAML:无类型键值对 ， |表达整块数据3.信息提取方法：方法一：完整解析信息的标记形式，再提取关键信息；XML, JSON, YAML...
2018-05-26 23:43:02
120
原创 227day（BeautifulSoup的基本元素，HTML内容的遍历方法）
《2018年5月25日》【连续227天】标题：BeautifulSoup的基本元素，HTML内容的遍历方法；内容：A.在某种意义上，html文档<->标签树<->BeautifulSoup类Tag,标签：name, Attributes,NavigableString,Comment;B,html中，有三种遍历方法，包括下行遍历，上行遍历，平行...
2018-05-25 21:05:34
927
原创 226day(IP地址查询，BeautifulSoup库安装)
《2018年5月24日》标题：IP地址查询，BeautifulSoup库安装；内容：1.IP地址查询：#Requests.V1import requestsurl ="http://www.ip138.com/ips138.asp?ip="try: r =requests.get(url +'202.204.80.112') r.raise_for_stat...
2018-05-24 23:54:06
166
原创 225day（Robots协议，一些实例）
《2018年5月23日》【连续225天】标题：Robots协议，一些实例；内容：对于网络爬虫，一般网站有两种法案来限制：1.来源审查：检查访问者的User-Agent，只允许浏览器和友好爬虫访问；2.Robots协议，告诉爬虫哪些内容可以爬取，哪些不可以；#注释， *代表所有。 /根目录爬取实例：以京东某页面为例：import requestsurl ...
2018-05-24 00:38:44
196
原创 224day（Requests库入门）
《2018年5月23日》【连续224天】标题：Requests库入门；内容：A.1. requests.get(url) ：构造一个向服务器请求资源的Request对象，返回一个包含服务器资源的Response对象；get(url,params,**kwargs)2.Response对象的属性：r.status_code:200表示访问成功，404表示失败；r.t...
2018-05-23 00:34:07
139
原创 223day(第三方库初步了解)
《2018年5月21日》【连续223天】标题：第三方库初步了解;内容：A.数据处理：Numpy , Pandas ,Scipy数据可视化：Matplotlib , Seaborn , Mayavi文本处理：PyPDF2, NLTK , python-docx机器学习：Scikit-learn, TensorFlow ,MXNet网络爬...
2018-05-21 23:52:51
170
原创 222day（os库，第三方库安装脚本）
《2018年5月20日》【连续222天】标题：os库，第三方库安装脚本；内容：A.os库：子库：os.path：abspath(path):返回path在当前系统的绝对路径normpath(path):归一化Path的表现形式，统一用\\分隔路径relpath(path):返回当前程序与文件之间的相对路径（relative path）dirname(path)：...
2018-05-20 23:47:49
247
原创 221day（体育竞技分析，计算生态，python第三方库安装）
《2018年5月19日》【连续221天】标题：体育竞技分析，计算生态，python第三方库安装；内容：A.自顶而下的程序设计思想：体育竞技分析实例：from random import randomdef printIntro(): print("此程序模拟两个选手A和B的某种竞技比赛") print("程序运行需要A和B的能力值（以0到1之间的小数表示）")...
2018-05-20 00:25:09
255
原创 220day（政府工作报告词云）
《2018年5月18日》【连续220天】标题：政府工作报告词云；内容：1.基本思路：a.读取文件、分词整理b.设置并输出词云c.观察结果，优化迭代代码：#GovRptWordCloudV1.pyimport jieba as jimport wordcloud as wfrom scipy.misc import imreadmask =imread("c...
2018-05-19 00:22:13
494
1
原创 219day（自动轨迹绘制实例，一维，二维数据的存储格式，wordcloud库）
《2018年5月17日》【连续219天】标题：自动轨迹绘制实例，一维，二维数据的存储格式，wordcloud库；内容：A.自动轨迹绘制：步骤一：定义数据文件形式（接口）一个例子：300,0,144,1,0,0 //行进距离//0左转，1右转//144为转向角度 //后三个数据为RGB三个通道颜色（0到1）步骤二：编写程序：#AutoTraceDraw.p...
2018-05-18 00:36:30
385
原创 218day（文件使用，自动轨迹绘制）
《2018年5月16日》【连续218天】标题：文件使用，自动轨迹绘制；内容：A.1.文件使用：文件的状态：存储状态，占用状态；open(<文件名>,<打开方式>)r:只读w:覆盖写x:创建写a:追加写b:二进制形式 t:文本形式+：同时读写等多种模式默认:rt2.读取：.read() .readlin...
2018-05-16 23:55:59
166
原创 217day（jieba库和文本词频统计）
《2018年5月16日》【连续217天】标题：jieba库和文本词频统计；内容：A.jieba库：一个强大的中文分词的第三方库：包括精确模式，全模式，搜索引擎模式；1.jieba.lcut(s)2.jieba.lcut(s,cut_all=True)3jieba.lcut_for_search(s)B.文本词频统计：英文版，以Hamlet中的 单词出现次数为例...
2018-05-16 00:41:09
963
原创 216day（基本统计值计算，字典类型及操作）
《2018年5月15日》【连续216天】标题：基本统计值计算，字典类型及操作；内容：A.基本统计值计算：#CalStatisticsV1.pydef getNum(): nums = [] iNumStr = input("请输入数字（回车退出）：") while iNumStr !="": nums.append(eval(iNum...
2018-05-15 00:44:30
179
原创 215day（科赫雪花的绘制，集合类型及操作，序列类型及操作）
《2018年5月13日》【连续215天】标题：科赫雪花的绘制，集合类型及操作，序列类型及操作；内容：1.运用递归绘制科赫雪花：#KochDrawV1.pyimport turtle as tdef koch(size,n): if n==0: t.fd(size) else: for angle in [0,60,-120,60...
2018-05-13 21:00:15
335
原创 214day（七段数码管的绘制和 PyInstaller库）
《2018年5月13日》【连续214天】标题：七段数码管的绘制和 PyInstaller库；内容：A.PyInstaller:第三方库：通过pip工具安装：在cmd界面：pip installer pyinstaller-h 查看帮助--clean 清理打包过程中的临时文件-D , --onedir 默认值，生成dist文件夹-F ,--onefile 在...
2018-05-13 00:52:47
250
原创 213day（random库，圆周率的计算）
《2018年5月11日》【连续213天】标题：random库，圆周率的计算；内容：A.random库是使用随机数的Python标准库：伪随机数：采用梅森旋转算法生成的(伪)随机序列中元素；基本随机函数：random() ， seed()随机数是由随机数种子唯一确定的；randint(a,b) randrange(m,n[,k])choice(seq) ...
2018-05-11 23:27:20
276
原创 212day（文本进度条，分支结构，循环结构）
《2018年5月10日》【连续212天】标题：文本进度条，分支结构，循环结构；A.文本进度条 模拟：#TextProBarV4.pyimport timescale =50print("执行开始".center(scale//2,"-"))start =time.perf_counter()for i in range(scale + 1): a ='*' * ...
2018-05-10 23:08:00
240
原创 211day(字符串类型及操作,time库使用)
《2018年5月9日》【连续211天】标题:字符串类型及操作,time库使用；内容：题目工作日练习：#DayDayUpQ4.pydef dayUP(df): dayup = 1 for i in range(365): if i % 7 in[6,0]: dayup *=(1-0.01) else: ...
2018-05-10 01:39:29
181
原创 210day（Python作业练习和数字类型及操作）
《2018年5月9日》【连续210天】标题：Python作业练习和数字类型及操作；内容：A.1.正方形：import turtle as tt.setup(600,600)t.pencolor("black")t.pensize(5)for i in range(4): t.fd(200) t.lt(90)t.done()2.叠变形：...
2018-05-09 00:40:34
209
原创 209day(turtle库和海龟绘图法)
《2018年5月7日》【连续209天】标题：turtle库和海龟绘图法；内容：A.绘制Python的代码：#PythonDraw.pyimport turtleturtle.setup(650,350,200,200)turtle.penup()turtle.fd(-250)turtle.pendown()turtle.pensize(25)turtle....
2018-05-08 01:03:20
1367
原创 208day（Python基本语法元素，网络信息安全问题）
《2018年5月6日》【连续208天】标题：Python基本语法元素，网络信息安全问题；内容：A.Python:1.编译和解释：编译即一次性将源代码转换成目标代码；解释即逐条转换成目标代码，并逐条运行，类似于同声传译；2.静态语言和脚步语言：静态语言：Java，C/C++；脚本语言：JavaScript， Python, PHP；3.交互式和文件式：交互...
2018-05-06 18:54:30
314
原创 207day（Web服务，电子邮件服务）
《2018年5月5日》【连续207天】标题：Web服务，电子邮件服务；内容：1.Web站点：一个Web站点是由一个主目录、子目录及其包含的网页文件、图片文件及其它各类文件以及相关数据库构成的。2.Web应用程序；3.统一资源定位符URL：一般形式：（协议）：//（主机名）/（端口号）/（文件名）/（文件路径）端口号：对应一个特定的服务，默认端口可以省略；使用端口：...
2018-05-05 21:26:19
162
原创 206day（网络服务与客户服务模式，域名与DNS服务）
《2018年5月5日》【连续206天】标题：网络服务与客户服务模式，域名与DNS服务；内容：1.客户/服务模式：2.域名与DNS服务：计算机域名=主机名.域名；DNS域名解析由一系列DNS服务器共同完成，这些DNS服务器按照域构成结构层次；计算机会记录解析过的域名；（所以，如果在计算机缓存域名有效期内，服务器的IP地址更改，可能会发生域名不可用的情况）；...
2018-05-05 00:53:59
179
原创 205day（字节码指令集简介2）
《2018年5月3日》【连续205天】标题：字节码指令集简介2；内容：接着看了JVM有关字节码指令的部分：1.对象的创建与操作：2.操作数栈管理指令：3.控制转移指令：4.方法调用和转移指令：...
2018-05-03 23:22:07
99
原创 204day(字节码指令集简介1)
《2018年5月3日》【连续204天】标题：字节码指令集简介1；内容：看了点jvm8的字节码指令集部分：1.加载和存储指令；2.算术指令：3.类型转换指令：...
2018-05-03 00:46:40
114
原创 203day（万维网简单了解和网络接入）
《2018年5月1日》【连续203天】标题：万维网简单了解和网络接入；内容：A.www：web服务器和web客户机编制的网络；超文本标记语言：以html为例：Web服务器：就是指Web服务器程序；IIS或HTTP serverWeb浏览器：基本功能：1.Html/Xml文本阅读器 2.脚本程序的解释器；B.局域网连接：网卡，无线...
2018-05-01 23:42:05
182
原创 202day（网络硬件设备， APRA和APRA网）
《2018年4月30日》［连续202天］标题： 网络硬件设备， APRA和APRA网；内容：1.网卡：一、二层设备； 1）把网络层得到的数据转换成数据帧 2）物理层的数据转换；2.网桥：网桥工作原理：3.路由器：路径选择和包交换；4.APRA网：通信网络的拓扑选型：1）集中式；2）非集中式；3）分布式；APRA网的通信理...
2018-05-01 00:01:18
178
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人