- 博客(22)
- 收藏
- 关注
RSS订阅
原创 分布式爬虫（四）：大结局
分布式爬虫之大结局篇：基于之前三篇博客配置的环境，缺一不可，若是漏了哪一步安装步骤，则可能存在运行报错问题。话不多说，抓紧时间结束这最后的分布式爬虫挣扎。操作环境： Windows10、Python3.6、Pycharm2019.3.1、VMware15、Xshell6相关文章： 分布式爬虫（一）：配置虚拟机 分布式爬虫（二）：配置安装Python以及redis 分布式爬虫（三）：scrapy之中国网库目录一、scrapy-redis1.1、简介1.2、修改scrap.
2020-09-30 19:33:47
1797
2
原创 Git命令总结（二）
了解Git个人开发以及多人协同开发的命令操作与问题等等。。。操作环境： windows10、pycharm、Python3.6、Cmder、Git、谷歌浏览器目录Git远程仓库——“码云”创建远程仓库配置SSH克隆项目多人协同开发代码冲突问题标签分支总结Git远程仓库——“码云” 提示：Github网站作为远程代码仓库时的操作和本地代码仓库一样的，只是仓库位置不同而已！（远程仓库可选GitHub、码云或者公司提供等，具体按照实际情况看待） 码云与GitHub区别：GitHub是面向国际的.
2021-02-03 21:39:32
1560
2
原创 Git命令总结（一）
了解Git个人开发以及多人协同开发的命令操作与问题等等。。。操作环境： windows10、pycharm、Python3.6、Cmder、Git、谷歌浏览器目录Git简介工作区&暂存区&仓库区Git单人操作本地仓库Git简介 Git 是目前世界上最先进的分布式版本控制系统（没有之一）安装下载： Git可在所有操作系统上运行，但其安装方法有异。要在Windows系统下安装Git，请访问 https://gitforwindows.org/ ，并单击Download。（直接傻.
2021-02-03 21:02:42
1469
原创 Redis笔记
记录键值数据库Redis命令笔记，以便后续使用查看。redis中文文档：http://redis.cn/commands.html目录Redis介绍nosql概念介绍简介特性优势服务端与客户端命令服务端数据操作String键命令hashlistsetzset与Python交互主从小结概念简单配置Redis介绍nosql概念介绍泛指非关系型的数据库不支持SQL语法存储结构跟传统关系型数据库中的那种关系表完全不同，nosql中存储的数据都是KV形式NoSQL的世界中没有一种通用的语言，每种.
2021-02-03 13:19:46
1709
原创 分布式爬虫（三）：scrapy之中国网库
距离上一篇博客时间过去了十几天，因学校毕业季以及考试的事情一直耽搁着。也在昨天小编成功收拾完宿舍的行李申请离校，跨出校门那一刻，挥手与舍友同学告别时，心头泛起说不清的感觉。但我知道“帷幕不会就此落下”，我们终将会有再“聚首”的时刻。在这里也预祝大家中秋国庆快乐！！！ 回归正题，之前基本配置了虚拟机的环境，现在我们来认识了解scrapy框架爬虫的魅力。操作环境： Windows10、Python3.6、Pycharm2019.3.1、谷歌浏览器、cmd、SQLyog目标网址： http://www.
2020-09-29 18:23:13
1809
原创 分布式爬虫（二）：配置安装Python以及redis
上一篇博客已将虚拟机安装以及配置网卡完成，接下来继续安装Python-3.6.5版本以及redis数据库。操作环境： Windows10、VMware Workstation Pro、Centos7、Xshell6相关文章： 分布式爬虫（一）：安装虚拟机目录一、Python1.1、安装3.6.5版本1.2、pip1.2.1、pip换源1.2.2、解决pip下载“超时”二、redis一、Python1.1、安装3.6.5版本 第一步：准备编译环境yum groupinstall 'D.
2020-09-17 20:18:42
1829
原创 分布式爬虫（一）：配置虚拟机
临近毕业季，因辅导员要求，写一份分布式爬虫的详细步骤文档，给予19届师弟师妹们参考学习。本应这次是继续上一个的字体加密爬虫，由于种种原因限制，就先写一份基于scrapy框架的分布式爬虫吧，后续再完善之前的字体反爬以及scrapy框架爬虫的博客。操作环境： Window10、Centos7、VMware Workstations Pro15相关文章： 爬虫（豆瓣电影、拉钩网、腾讯zp、新笔趣阁、链家网、起点中文网），豆瓣分析目录一、虚拟机1.1、安装虚拟机1.2、配置网卡1.3、Xshell.
2020-09-17 11:17:55
2508
2
原创 豆瓣电影(二)：数据分析
豆瓣数据分析需要用到的数据文件 —> 豆瓣高分电影文件链接：https://pan.baidu.com/s/18cYvdphVOI7vT6PynDrmDA提取码：421y目录一、数据集1.1、导入三个基础库1.2、忽略警告1.3、设置字体和样式二、数据清洗2.1、缺失值三、绘图一、数据集1.1、导入三个基础库 Pandas： Pandas是一个强大的分析结构化数据的工具集；它的使用基础是Numpy（提供高性能的矩阵运算）；用于数据挖掘和数据分析，同时也提供数据清洗功能。 Numpy.
2020-09-02 10:22:04
3388
原创 豆瓣电影(一)：网络爬虫
夏日炎炎，屋外三十多度的烈日温度，着实一点出门的欲望都无了，小编还是窝在宿舍里当个“肥宅”吧。豆瓣爬虫属于动静结合的数据类型，即列表页动态、详情页静态。对豆瓣高分电影信息进行详细爬取，并存入Excel表格，后续再对数据进行数据分析，简单可视化展示。操作环境： Windows10、Python3.6、Pycharm、谷歌浏览器目标网址： https://movie.douban.com/ （豆瓣电影）相关文章： 拉钩爬虫、腾讯招聘爬虫、新笔趣阁爬虫、链家网爬虫目录一、分析网页1.1、ajax加载.
2020-09-01 09:04:52
2580
2
原创 Python3网络爬虫之requests动态爬虫：拉钩网
人生苦短，我学Python！将爬虫作为Python的下一进阶知识点学习是不二选择，一方面能更好的复习Python，另一方面爬虫亦是更容易提起兴趣，“满足感”快易得。学习爬虫涉及到的其他领域知识广泛，有利于更快的了解其他领域的知识，拥有了兴趣，那还不是“有手就行”？？？哈哈，言归正传，这次小编带大家来解决拉钩的反爬机制。操作环境： Windows10、Python3.6、Pycharm、谷歌浏览器目标网址： https://www.lagou.com/jobs/list_Python/p-city_0.
2020-08-30 09:27:51
1515
翻译 MySQL笔记(十)——流程控制结构
目录流程控制结构分支结构：循环结构：流程控制结构 说明： 顺序结构：程序从上往下依次执行。 分支结构：程序按条件进行选择执行，从两条或多条路径中选择一条执行。 循环结构：程序满足一定条件下，重复执行一组语句。分支结构：特点： 1、if函数 功能：实现简单双分支 语法： if(条件,值1,值2) 位置： 可以作为表达式放在任何位置 2、case结构 功能：实现多分支 语法1： case
2020-08-30 08:35:45
314
翻译 MySQL笔记(九)——存储过程和函数
目录存储过程和函数存储过程：一、创建 **二、调用三、查看四、删除函数：一、创建二、调用三、查看四、删除存储过程和函数说明：都类似于java中的方法，将一组完成特定功能的逻辑语句包装起来，对外暴露名字好处：1、提高重用性2、sql语句简单3、减少了和数据库服务器连接的次数，提高了效率存储过程：一、创建 ** create procedure 存储过程名(参数模式 参数名 参数类型) begin 存储过程体 end 注意： 1.参数模式：in、out、inout，其中
2020-08-29 10:37:15
302
翻译 MySQL笔记(八)——变量
目录变量一、系统变量1、全局变量2、会话变量二、自定义变量1、用户变量2、局部变量变量一、系统变量 说明：变量由系统提供的，不用自定义 语法： ①查看系统变量 show 【global|session】variables like ‘’; 如果没有显式声明global还是session，则默认是session ②查看指定的系统变量的值 select @@【global|session】.变量名; ③为系统变量赋值 方式一： set 【global|session】变量名
2020-08-29 10:31:57
334
翻译 MySQL笔记(七)——视图
目录视图一、含义二、创建三、修改四、删除五、查看六、使用七、视图和表的对比视图一、含义 mysql 5.1版本出现的新特性，本身是一个虚拟表，它的数据来自于表，通过执行时动态生成、 好处： 1、简化sql语句; 2、提高了sql的重用性; 3、保护了基表的数据，提高了安全性。二、创建 create view 视图名 as 查询语句;三、修改 方式一：create or replace view 视图名 as 查询语句; 方式二：create v
2020-08-29 10:23:53
210
翻译 MySQL笔记(六)——TCL语言之事务
目录一、事务含义二、特点（ACID）三、事务的使用步骤***四、并发事务一、事务含义 事务：一条或多条sql语句组成一个执行单位，一组sql语句要么都执行要么都不执行二、特点（ACID） A 原子性：一个事务是不可再分割的整体，要么都执行要么都不执行 C 一致性：一个事务可以使数据从一个一致状态切换到另外一个一致的状态 I 隔离性：一个事务不受其他事务的干扰，多个事务互相隔离的 D 持久性：一个事务一旦提交了，则永久的持久化到本地三、事务的使用步骤*** 了解： 隐式（自动）
2020-08-29 10:16:48
287
翻译 MySQL笔记(五)——DDL语言
目录库和表的管理一、库的管理1、创建库2、修改库3、删除库二、表的管理1、创建表**2、修改表3、删除表4、复制表数据类型一、数值型1、整形2、浮点型3、字符型4、日期型常见的约束一、主键和唯一：1、区别：2、相同点：二、创建表时添加约束三、修改表时添加或删除约束1、非空2、默认3、主键4、唯一5、外键四、自增长列库和表的管理一、库的管理1、创建库 create database 【if not exists】 库名【 character set 字符集名】;2、修改库 alter data
2020-08-29 10:08:48
207
翻译 MySQL笔记(四)——DML语言之增删改查
目录一、插入二、修改2.1、修改单表的记录 **2.2、修改多表的记录【补充】三、删除一、插入 方式一： 语法： insert into 表名(字段名,…) values(值,…);特点：1、要求值的类型和字段的类型要一致或兼容2、字段的个数和顺序不一定与原始表中的字段个数和顺序一致，但必须保证值和字段一一对应3、假如表中有可以为null的字段，注意可以通过以下两种方式插入null值 ①字段和值都省略 ②字段写上，值使用null4、字段和值的个数必须一致5、字段名可以
2020-08-29 09:54:30
360
翻译 MySQL笔记(三)——DQL语言查询
目录SQL99语法1、内连接2、外连接3、交叉连接子查询1、子查询含义2、分类2.1、按出现位置2.2、按结果集的行列3、示例：3.1、标量子查询3.2、列子查询分页查询1、分页查询应用场景2、语法：联合查询1、含义2、语法：3、意义4、特点查询总结SQL99语法1、内连接 语法： select 查询列表 from 表1 别名 【inner】 join 表2 别名 on 连接条件 where 筛选条件 group by 分组列表 having 分组后的筛选 order by
2020-08-29 09:48:03
652
翻译 MySQL笔记(二)——DQL语言基础
目录基础查询：一、语法二、特点三、示例1、查询单个字段2、查询多个字段3、查询所有的字段4、查询常量5、查询函数6、查询表达式7、起别名8、去重9、+10、【补充】concat函数11、【补充】ifnull函数12、【补充】isnull函数条件查询：一、语法二、筛选条件的分类基础查询：一、语法 select 查询列表 from 表名;二、特点 1、查询列表可以是字段、常量、表达式、函数，也可以是多个 2、查询结果是一个虚拟表三、示例1、查询单个字段 select 字段名 fro
2020-08-29 09:26:06
238
翻译 MySQL笔记(一)——数据库相关概念
目录一、数据库的好处二、数据库的常见概念三、数据库存储数据的特点四、常见的数据库管理系统五、MySQL的背景六、MySQL的优点七、MySQL服务的启动和停止八、MySQL服务的登录和退出一、数据库的好处 1、可以持久化数据到本地 2、结构化查询二、数据库的常见概念 1、DB：数据库，存储数据的容器 2、DBMS：数据库管理系统，又称为数据库软件或数据库产品，用于创建或管理DB 3、SQL：结构化查询语言，用于和数据库通信的语言，不是某个数据库软件特有的，而是几乎所有的主流数据库软件
2020-08-29 09:19:23
342
原创 Python3网络爬虫之requests动态爬虫：腾讯招聘
招聘爬虫之“了解腾讯岗位信息”大数据时代，已不局限于书面了解世界，而是通过物联网达到足不出户眺望远方。这次小编带大家来看看另一种爬虫技术：动态爬虫，不同于之前两篇的静态爬虫，数据不存在于网页源码中，而是由Ajax渲染的接口数据。我们将通过“X讯招聘”爬虫来了解这方面的知识。操作环境： Windows10、Python3.6、Pycharm、谷歌浏览器目标网址： https://careers.tencent.com/search.html?pcid=40001==================
2020-08-29 08:53:55
1852
原创 Python3网络爬虫之requests静态爬虫:《新笔趣阁》
《新笔趣阁》之全站爬虫身为十年老书虫，学习爬虫不爬取全站小说网都对不起这个身份。我相信，对于很多人来说，小说是人的第二精神世界，是某些时刻精神慰问的佳肴。小编最喜欢的作者是实验小白鼠的作品，鼠大的作品主打玄幻和都市，若碰巧遇到鼠哥的粉丝可私信闲聊，哈哈。扯远了，回归正题，这次对《新笔趣阁》全站爬取小说并存入txt文件！！！操作环境： Windows10、Python3.6、Pycharm、谷歌浏览器目标网址： http://www.xbiquge.la/xiaoshuodaquan/ （新笔趣
2020-08-27 13:48:09
1162
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人