学习记录
文章平均质量分 92
云溪龙
记录小白的自己逐渐了解IT世界
展开
-
爬虫学习记录(六)——selenium基本使用
爬虫学习记录——selenium基本使用前言基本使用声明浏览器对象访问页面查找节点节点交互动作链获取节点信息获取属性获取文本值切换 Frame延时等待隐式等待显式等待前进后退Cookies选项卡管理异常处理反屏蔽无头模式学习感悟前言由于接口的请求加上了 token 参数,如果不深入分析并找到 token 的构造逻辑,我们是难以直接模拟这些 Ajax 请求的。此时解决方法通常有两种,一种是深挖其中的逻辑,把其中 token 的构造逻辑完全找出来,再用 Python 复现,构造 Ajax 请求;另外一种方原创 2020-09-07 19:17:41 · 883 阅读 · 0 评论 -
爬虫学习记录(二)————正则表达式
正则表达式前言match匹配目标通用匹配贪婪与非贪婪修饰符转义匹配searchfindallsubcompile前言正则表达式不仅可以用于爬虫提取信息,在对字符串的操作也有很大的帮助,不仅局限于python,其他语言也有相应的语句,本文主要记录笔者在学习过程中re库的使用,和一些学习过程的心得体会。下面就用几个实例来看一下正则表达式的用法。打开开源中国提供的正则表达式测试工具 http://tool.oschina.net/regex/ ,输入待匹配的文本,然后选择常用的正则表达式,就可以得出相应的原创 2020-07-31 22:23:03 · 313 阅读 · 0 评论 -
爬虫学习记录(一)————Request库爬虫
Request库简单爬虫前言RequestURL参数传递二进制数据抓取添加 headersPost请求响应信息性状态码成功状态码重定向状态码客户端错误状态码服务端错误状态码文件上传Cookies前言通过几次的学习我简单说一下自己对爬虫Request用 Python 写爬虫的第一步就是模拟发起一个请求,把网页的源代码获取下来。当我们在浏览器中输入一个 URL 并回车,实际上就是让浏览器帮我们发起一个 GET 类型的 HTTP 请求,浏览器得到源代码后,把它渲染出来就可以看到网页内容了。那如果我们想原创 2020-07-31 22:18:01 · 1182 阅读 · 0 评论 -
爬虫学习记录(三)————PyQuery解析使用
爬虫学习记录(三)————PyQuery解析使用初始化字符串初始化URL 初始化文件初始化基本 CSS 选择器查找节点子节点父节点兄弟节点遍历获取信息获取属性获取文本节点操作addClass 和 removeClassattr、text、htmlremove伪类选择器初始化我们在解析 HTML 文本的时候,首先需要将其初始化为一个 pyquery 对象。它的初始化方式有多种,比如直接传入字符串、传入 URL、传入文件名,等等。下面我们来详细介绍一下。字符串初始化我们可以直接把 HTML 的内容当作原创 2020-07-31 22:24:37 · 446 阅读 · 0 评论 -
爬虫学习记录(四)————利用pyquery,re爬取静态网站信息存储到mongodb中
静态页面爬取静态页面爬取引入需要的包定义获取html文件的基本函数定义获取所有详情页的url函数定义解析详细信息的函数将函数链接起来存储到mongodb中链接mongodb的基本参数定义存储函数重新编写主函数学习感悟静态页面爬取GitHub地址:https://github.com/yunlong-G/learn/blob/master/spider_learn/static_spider_douban.ipynb以豆瓣电影网站为例,使用request,pyquery,re进行爬取解析页面信息,将电影原创 2020-09-06 16:31:40 · 465 阅读 · 0 评论 -
爬虫学习记录(五)————ajax动态爬取
爬虫学习记录————ajax动态爬取ajax爬取原理与解析原理发送请求解析内容渲染网页Ajax 分析ajax爬取实例学习总结GitHub地址:https://github.com/yunlong-G/learn/blob/master/spider_learn/ajax%E5%8A%A8%E6%80%81%E7%88%AC%E5%8F%96.ipynbajax爬取原理与解析Ajax,全称为 Asynchronous JavaScript and XML,即异步的 JavaScript 和 XML。它不原创 2020-09-07 11:09:21 · 1308 阅读 · 0 评论 -
使用VS code编辑md文件,并导出pdf
VScode——好用的md文件编辑器安装vscode插件安装一个例子安装vscodehttps://code.visualstudio.com/官网下载对应自己电脑的版本即可,记得最后点击添加到系统环境变量。插件安装Markdown PDF插件安装在VS应用商店搜索即可安装后在编辑区右键,即会出现导出pdf选项。如果导出不成功需要配置一下markdown-pdf.executablePath路径。在设置区搜索markdown-pdf.executablePath即可,将设置为原创 2020-11-18 12:59:20 · 9177 阅读 · 0 评论 -
计算机网络复习————子网划分&&子网掩码
计算机网络复习————子网划分IP地址IP地址分类A类地址B类地址C类地址D类地址E类地址子网划分子网掩码子网划分IP地址IP地址用来标识主机,一共4个字节,共32位,常用点分十进制表示如:198.12.6.1IP地址分类A类地址第1字节为网络地址,其它3个字节为主机地址。地址范围:1.0.0.1—126.255.255.254A类地址中的私有地址和保留地址:10.X.X.X是私有地址(所谓的私有地址就是在互联网上不使用,而被用在局域网络中的地址)。 范围(10.0.0.0—10.255.原创 2020-08-20 21:56:30 · 1466 阅读 · 0 评论 -
计算机网络复习————网络层,数据链路层
计算机网络复习————网络层,数据链路层网络层网络层功能与服务类型路由器IP数据包格式分片和重装IP地址DHCP协议NAT网络地址转换IPv6链路状态路由算法距离路由向量算法Internet路由协议自治系统内部:广播&&组播(多播)数据链路层数据链路层的服务差错检测奇偶校验二维奇偶校验checksum校验和循环冗余CRCMAC协议信道分割MAC协议随机接入MAC协议轮流式MAC协议MAC地址和ARP以太网(Ethernet)交换机(Switch)网络层网络层功能与服务类型主机与主机的通原创 2020-08-20 14:38:09 · 1230 阅读 · 0 评论 -
计算机网络复习————概述,应用层,传输层
计算机网络复习绪论概述交换技术网络性能指标协议栈绪论概述什么是网络?网络是对系统的抽象,像是成千上万的人群,蚁群等等。各个领域中存在不同的网络,经济网络,生物网络,信息网络,人脑神经元网络,交通中地铁,公交网络。网络帮助研究各个个体之间的关系,方便理解各个系统的复杂性。因特网:成千上万的计算设备互联组成的系统,这些计算设备有计算机,服务器,统称为主机。连接链路有多种:有线,无线的,光纤等等。**协议:**是计算机网络组成的重要部分。制定数据报的格式执行什么动作网络中交换信息的规则的集原创 2020-08-19 23:11:19 · 1141 阅读 · 1 评论 -
fopen_s(),fscanf_s()使用注意的问题
@TOCfopen_s()fopen()打开比较简单FILE* fp1;if((fp1=fopen("student_inf","r"))==NULL) //只读 { printf("cannot open the files\n"); }但是之后的vs上认为fopen打开不安全,改成了fopen_s(),二者打开有些许不同,贴上我的代码。FILE* fp1;errno_t err;if ((err = fopen原创 2020-07-08 12:25:04 · 2756 阅读 · 6 评论 -
pyecharts1.0+绘图————学会使用中文帮助文档
pyecharts1.0+绘图环境内容第一个简单的柱状图绘制多种数据的表格添加图像工具中文帮助文档的使用环境内容python==3.6+jupyter==1.0.0+pyecharts=1.0+【说明】:pyecharts的v0.5和v1.0版本的语法有很大差别,代码不能通用第一个简单的柱状图from pyecharts.charts import Barbar = Bar()bar.add_xaxis(["衬衫", "羊毛衫", "雪纺衫", "裤子", "高跟鞋", "袜子"])原创 2020-07-07 23:03:42 · 1772 阅读 · 0 评论 -
Echarts动态显示MySQL数据库中的数据
Echarts动态显示MySQL数据库中的数据下载echarts并进行简单绘图下载和配置简单绘图实时显示数据库数据Apache24的安装构建项目mysql数据库的表格创建获取数据的php文件编写说一下如何运行这个php文件可以实时显示数据库信息的test2.html编写运行及结果展示总结感悟下载echarts并进行简单绘图下载和配置最近在学习利用echarts进行数据可视化,简单画一个表格比较简单,去官网https://echarts.apache.org/en/index.html下载解压好echa原创 2020-06-10 22:50:53 · 11842 阅读 · 12 评论 -
sql百万数量级查询并插入数据
sql百万数量级查询并插入数据这几天在做一个从数据库中查询数据并添加到新表的程序,记录一下自己遇到的问题,和关于这个过程学习体会。起初,在自己的电脑运行测试少量数据时候并没有太大的感受。之后放到服务器上运行时候,6个小时后代码还是没有结束。这就看出来自己的代码的问题了,所以我果断放弃原先代码,Ctrl+C,停止重新编写。之前在CSDN,百度都查找过sql的查询优化,大多是理论,没有实践操作,作为小白的我还是不太懂,只是利用了索引进行了一部分优化。下面是我的改良操作过程。以一个代码为例:INSERT原创 2020-05-29 14:43:52 · 1005 阅读 · 1 评论