- 博客(22)
- 收藏
- 关注
RSS订阅
原创 爬虫系列（七）抓包工具fiddler 安装以及配置
一、fiddler抓包原理Fiddler是以代理web服务器的形式工作的，它使用代理地址:127.0.0.1，端口:8888。当Fiddler退出的时候它会自动注销，这样就不会影响别的程序，但如果Fiddler非正常退出，这时候因为Fiddler没有自动注销，会造成网页无法访问。解决的办法是重新启动下Fiddler。二、fiddler安装下载官网下载：https://www.telerik.com/download/fiddler百度网盘：链接：https://pan.ba.
2020-12-19 11:33:11
327
1
原创 爬虫系列（六）我们一起聊聊正则
如果说网络爬虫爬取的网页信息是数据大海，正则表达式就是我们进行“大海捞针”的工具。目录正则表达达式python 中的 re模块（处理正则表达式）正则表达式元字符正则表达式的转义贪婪和非贪婪正则表达式分组re模块的使用作业12、match对象13、flags 参数正则表达达式定义正则表达式即文本的高级匹配模式，提供搜索、替代、获取等功能。本质是由一系列特殊符号和字符构成的字串，而这个字串就是正则表达式。特点（1）方便进行检索修改文本的操作.
2020-12-18 14:55:00
214
原创 爬虫系列（五）学会urllib.request，玩转百度贴吧
从今天开始，我们每天一个实战，一定要坚持住哦，不要做秒男啊啊啊，为什么这个字体是斜的，咱也不知道呀爬虫系列开篇语学前准备爬虫系列——你真的了解http吗？我们一起爬爬虫请求模块版本介绍Python2中：urllib2、urllibPython3中：把urllib和urllib2并，urllib.request也就是说在Python2版本中，有urllib和urlib2两个库可以用来实现request的发送。而在Python3中，已经不存在urllib2这个库了统一为u
2020-12-13 15:50:05
316
1
原创 爬虫系列（四）我们一起爬
今天我们的目标是要学会如何爬目录Python网络库什么是requests模块首页功能如何安装和使用requests模块pip安装使用anaconda安装pycharm安装requests实战，学以致用，开始爬requests使用实战Python网络库在实际浏览网页的时候，我们一般是通过鼠标来点击网页，由浏览器帮助我们发起请求，那在Python 爬虫中是如何发起请求的呢？Python有强大的库来作为支撑，给大家介绍一下，这些库：Pyth...
2020-12-10 15:13:47
243
原创 爬虫系列（三）你真的了解http吗？
上一篇推荐：爬虫系列 ——学前准备前言 本文以一次HTTP请求的整个过程来带你深入了解http（注意：这里我们不讲DNS解析，也没必要，有兴趣的可以去自己了解一下）一、http简介1.简介 HTTP（HyperText Transfer Protocol）即超文本传输协议，是一种详细规定了浏览器和万维网服务器之
2020-12-07 17:35:10
132
原创 爬虫系列 （二）学前准备
相信很多人，在学习一门技术时，首先想到的是难不难，自己能不能学会，那么今天我就告诉你，爬虫很难建议你趁早放弃（开个玩笑）。其实很简单，简单到1个小时你就可以写一个爬虫，分分钟就可以搞到你日思夜想的女神的照片，hhh
2020-12-02 17:56:56
152
原创 爬虫系列（一）开篇语
在之前的公司主要是做一些数据的分析和网站开发的工作，说实话数据分析这块设计的方面很多，你要熟悉业务，要会采集数据，清洗数据等等。并不是所有的数据都是现成的，平时需要自己写一些爬虫，去获取一些数据，基于此开一个爬虫系列。
2020-12-01 17:43:44
241
原创 MySQL 8.0安装教程——windows10-1
下载MYSQL官网地址：https://dev.mysql.com/downloads/mysql/将下载的文件解压配置初始化文件可以看到，解压后的目录是没有my.ini文件的，我们来自行创建一个my.ini（新建文本文件，将文件类型改为的.ini，不会的可以去百度一下），写入以下配置：[mysqld]# 设置3306端口port=3306# 设置mysql的安装目录，这个可以自己更改basedir=D:\mysql# 设置mysql数据库的数据的存放目录，这个...
2021-01-21 16:24:17
205
2
原创 由于找不到vcruntime140_1.dll，无法继续执行代码，重新安装程序可能会解决此问题
问题：安装mysql时报错：由于找不到vcruntime140_1.dll，无法继续执行代码，重新安装程序可能会解决此问题解决:：这是因为缺少了动态链接库(.ddl文件)和mysql无关，下载一个，然后放到相应的位置就可以注意：根据自己的电脑去下载64还是32的，下面以64为例，32位版本的vcruntime140_1.dll需复制到C:\Windows\SysWOW64下下载地址：https://cn.dll-files.com/vcruntime140_1.dll.html下载.
2021-01-20 15:44:27
1055
原创 在Ubuntu 18.04上安装不同版本的python及选择默认Python
一、选择是从Deadsnakes PPA安装deb软件包适用于Ubuntu 16.04和任何基于Ubuntu的发行版，包括Kubuntu，Linux Mint和Elementary OS1、以具有sudo访问权限的用户身份运行以下命令，更新软件包列表并安装必备组件sudo apt updatesudo apt install software-properties-common02、运行以下命令，将deadsnakes PPA添加到系统的来源列表中：sudo add-apt-reposit
2020-12-09 09:15:00
4023
原创 Conda常用命令总结
Conda环境常用变量conda update -n base conda #更新到最新版本的condaconda create -n xxx python3.7 #创建名为python3.7的xxx虚拟环境conda activate xxx #进入xxx环境conda deactivate xxx #推出xxx环境conda env list #查看所有虚拟环境conda info --envs
2020-12-09 09:05:10
281
原创 Windows 下 sublime text3的安装及设置
前言：最近换了台电脑，只好上手安装一系列搬砖工具了一、安装Sublime Text31、下载官网下载：http://www.sublimetext.com/3百度云：https://pan.baidu.com/s/1X6hD7AH-giyahkCK79ZKqw 提取码：e3ai2、安装Sublime Text安装很傻瓜，一路下一步即可二、安装Package ControlPackage Control是一个类似插件管理包的小工具，用起来非常方便1、手动安装< 1 > 点击P
2020-12-01 15:04:43
274
原创 python Django项目点击run或debug时出现Type ‘manage.py help ＜subcommand＞‘ for help on a specific subcommand.
这篇文章是写GitHub的使用，总是有人问我问题以前都是被人问我什么就直接告诉他或者直接拿过来自己给他搞好欢使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Mark...
2020-11-30 18:47:58
1935
3
原创 Mysql 8.0以上版本，开启远程访问权限（ERROR 1064 (42000): You have an error in your SQL syntax； ）
写在前面MySQL开启远程访问权限，通常命令如下：此处是为IP为192.168.0.104，用户名为root的用户，开启访问test1数据库的所有权限rant all privileges on test1.* to "root"@"192.168.0.***" identified by"root" with grant option;报错原因版本问题，MySQL8.0以上版本并不适用这种命令来开启远程访问权限解决方法依次执行下面命令create user 'root'@'192.
2020-11-22 11:10:34
1252
原创 Ubuntu 找不到 Command ‘ifconfig‘ not found
之前换了电脑，新安装了Ubuntu，发现ifconfig时，报错了直接安装即可sudo apt install net-tools结果如下或者你不想使用ifconfig，也可以使用ip link代替
2020-11-21 23:19:06
177
原创 Ubuntu 下安装MySQL8.0及以上，未设置初始密码，无法登录MySQL的解决方法
一、问题解决标题报错提示 ERROR 1045 (28000): Access denied for user ‘root’@‘localhost’MySQL版本解决方法 1、进入到etc/mysql 目录下，使用命令sudo cat debian.cnf，查看debian.cnf文件，找到user和password 2、使用找到的用户名和密码登录MyS
2020-11-16 15:50:48
1199
1
原创 Pycharm的安装和设置
前言这篇笔记主要讲pycharm的安装、设置和激活，将保持持续更新，建议收藏。如果有安装失败或无法激活问题，可以留言，笔者看到将最大程度给予帮助。本文仅用于学习，如有侵权请联系笔者，如转载请标明出处。目录1.安装1.1下载软件1.21.32.设置3.激活4.简单使用正文1.安装——本文以Windows 10 专业版为例进行安装1.1 下载软件——下面截图软件：windows自带截图工具1.1.1 官网下载：https://www.jetbrains.c
2020-11-11 10:05:13
199
原创 Ubuntu 18.0.4 安装sublime Text3，设置可以输入中文
话不多说 ，直接撸起来！1、wget -qO - https://download.sublimetext.com/sublimehq-pub.gpg | sudo apt-key add -2、sudo apt-get install apt-transport-https3、echo "deb https://download.sublimetext.com/ apt/stable/" | sudo tee /etc/apt/sources.list.d/sublime-text.l
2020-11-10 15:56:05
137
原创 windows 10安装VMware Workstation
安装步骤一、下载 1、官网下载：传送门 2、百度云链接：链接：https://pan.baidu.com/s/1n31av_stb4bRFiBGqw5xPw 提取码：rjho二、安装 1、双击下载好的软件包，进行安装 2、点击接受许可协议 3、根据自己的电脑，
2020-11-05 10:54:54
259
原创 windos下使用pip install，出现 [WinError 10061] 由于目标计算机积极拒绝，无法连接。
我用的是win10系统，Intel属性 > 连接 >局域网设置 >代理服务器 取消
2019-06-05 11:44:21
953
3
原创 使用父子进程将一个文件或照片的上半部分和下半部分别复制到两个文件中，以字节区分
import os from time import sleep from multiprocessing import Process获取文件大小size = os.path.getsize(“img.jpg”)避免两个进程同时操作父类的同一个文件，拥有相同的属性f = open(filename, ‘rb’)def copy1(filename): #...
2018-08-13 20:04:48
702
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人