- 博客(78)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 python爬取快手视频--json数据分析
打开快手主页，进行页面分析对于快手这种平台，分析完页面代码之后，无任何想要的信息，所以，只能进行json数据的抓取，这些视频都是通过json语句传给前段，然后进行循环生成，所以，我们来看抓的json包然后进行详情页链接分析接下来看json数据补充一下，这里由于页面刷新了，所以看到的两个链接不一样，方法就是这样的然后拼接出来二级路径，进行访问详情页最后在详情页按照常规方法进行分...
2019-08-23 11:48:33
9634
10
原创 python爬取苏宁易购--jsonpath方法
苏宁的爬取和京东的爬取是一样的，方法类似这是爬取京东的例子：https://blog.csdn.net/Dream____Fly/article/details/99698222import urllib.requestimport json,jsonpathurl = 'https://review.suning.com/ajax/cluster_review_lists/gener...
2019-08-20 09:33:41
2007
10
原创 python逐条读取文件的内容三种
第一种代码如下f=open("wenjie.txt")line=f.readline()while line: print(line,end="+") line=f.readline()f.close()第二种代码如下for line in open("wenjie.txt"): print(line)第三种代码如下wenjie=open("we...
2018-10-06 16:58:33
1581
原创 git的使用
1.Git与SVN区别Git不仅仅是个版本控制系统，它也是个内容管理系统、工作管理系统、代码管理系统等。Git是分布式的，SVN不是：这是Git和其他非分布式的版本控制系统SVN，CVS 等最核心的区别。Git 把内容按元数据方式存储，而 SVN 是按文件：所有的资源控制系统都是把文件的元信息隐藏在一个类似 .svn、.cvs 等的文件夹里。Git 分支和 SVN 的分支不同：分支在 SVN 中一点都不特别，其实它就是版本库中的另外一个目录。Git 没有一个全局的版本号，而 SVN 有：目前为止
2020-11-01 23:31:37
222
1
原创 如何安装vue环境
1.安装node.js下载地址：https://nodejs.org/en/检查是否安装成功(查看node版本号)node -v(查看npm版本号)npm -v2.设置缓存文件夹路径npm config set cache "node安装路径\node_cache"3.设置全局模块存放路径(方便vue-cli,cnpm等包的管理)npm config set prefix "node安装路径"4.查看npm的配置指令npm config ls5.基于 Node.js 安
2020-10-29 21:20:17
666
原创 Go循环for,goto,defer的使用
如果循环没有达到条件，就会一直会循环for循环例子/*for循环*/package mainimport ( "fmt" "time")func main() { //条件循环 for i := 1; i < 10; i++ { fmt.Println(i) } //条件循环 num := 1 for num < 10 { num++ fmt.Println(num) } //循环一次退出 for{ fmt.Println("我爱学习！")
2020-09-17 00:13:58
774
原创 Go切片
切片Slic/*切片语法：slice [开始位置 : 结束位置]语法说明如下：slice：表示目标切片对象；开始位置：对应目标切片对象的索引；结束位置：对应目标切片的结束索引使用方法:slice[开始位置:] -->截取开始位置到数组的最后一个元素slice[:结束位置] -->截取从开始元素到结束位置slice[开始位置:结束位置] -- >截取从开始位置到结束位置的数组元素slice[:] --> 生成与原数组一样的切片slice[0:0] -->生
2020-09-14 21:07:37
214
原创 Go一维数组与多维数组的使用
一个数组是由零个或多个元素组成，因为Go语言中的数组长度是固定的，所以不会之间使用，在Go语言中，和数组对应的类型是Slice(切片)，Slice 是可以增长和收缩的动态序列，功能也更灵活。 数组的每个元素可以通过索引下标来访问，索引下标的范围是从0开始到数组长度减1的位置。内置的len函数将返回数组中元素的个数。一维数组//一维数组的声明：var 数组变量名 [元素数量]Typepackage mainimport "fmt"//定义一个长度为4的数组var a = [4]int{1, 2,
2020-09-11 15:42:38
863
原创 Go选择结构
if(单分支)package mainimport "fmt"func main(){ if 条件{ 条件成立，所做的事情 }}if(双分支)package mainimport "fmt"func main(){ if 条件{ 条件成立，所做的事情 }else{ 条件不成立，所做的事情 }}if(多分支)package mainimport "fmt"func main(){ if 条件A{ 条件A成立，所做的事情 }else if 条件B
2020-09-11 00:05:01
160
原创 host文件的详解与修改方式
文档目录1.什么是host文件2.host文件作用3.修改host文件方法1.什么是host文件hosts是一个没有扩展名的系统文件，其基本作用就是将一些常用的网址域名与其对应的 IP 地址建立一个关联库。当用户在浏览器中输入一个需要登录的网址时，系统会首先从hosts文件中寻找对应的 IP 地址，一旦找到，系统就会立即打开对应网页，如果没有找到，则系统会将网址提交 DNS 域名解析服务器进行 IP 地址的解析。2.host文件作用2.1 加快对域名解析速度对于经常访问的网站，我们可以通过在ho
2020-07-11 15:09:55
3284
原创 Linux条件判断
条件测试类型：整数测试字符测试文件测试条件测试的表达式： [ expression ] ` expression ` test expression整数比较: -eq: 测试两个整数是否相等；比如 $A -eq $B -ne: 测试两个整数是否不等；不等，为真；相等，为假； -gt: 测试一个数是否大于另一个数；大于，为真；否则，为假； -lt: 测试一个数是否小于另一个数；小于，为真；否则，为假； -ge: 大于或等于 -le
2020-07-10 14:34:38
667
原创 rpm指令及名称详解
rpm -q：查询软件包是否安装rpm -q 包名----q表示查询，是query的首字母rpm -qa:查询系统中所有安装的软件包rpm -qi 包名:查询软件包的详细信息rpm -ql 包名:命令查询软件包的文件列表rpm -ivh 包全名 安装rpmrpm -Uvh 包全名 升级rpmrpm -e 包名 卸载rpm例如，RPM 包的名称是httpd-2.2.15-15.el6.centos.1.i686.rpm，其中：httped：软件包名。这里需要注意
2020-07-10 14:25:42
1872
原创 python字符串中占位符详解
一、使用 % 的形式常用占位符：1、%d 整数占位符>>> '%d 木头人'%123'123 木头人'2、%f 浮点数占位符>>> '你有%f米高吗?'%1.8'你有1.800000米高吗?'3、%s 字符串占位符>>> 'I %s you'%'miss''I miss you'二、使用 fo...
2020-03-25 10:30:09
16916
原创 秋招后台开发面经
秋招面经在秋招过程中面过美团，中信银行，乔治科技（运维安全管理“独角兽”），三星，同花顺等十几家公司，拿到了5个offer，最后选择了一家自己比较满意的岗位和公司。现在我将我自己的面试总结分享给大家：计算机网络：计算机网络的七层模型、五层模型、四层模型。每层模型的功能是什么（主要是TCP/IP模型，也不一定会问其他两种模型），各层之间的协议有哪些（ARP协议、HTTP协议、IP协议、TC...
2019-10-19 23:27:48
423
原创 树的实现
class Node(object): def __init__(self,item): self.elem = item self.lchild = None self.rchild = Noneclass Tree(object): def __init__(self): self.root = None ...
2019-09-15 15:54:21
174
原创 python爬取全国公交线路---bs4方法
这里主要讲了bs4解析方法和json方法，以8684网页为例子，爬取了全国公交线路import requestsimport timefrom bs4 import BeautifulSoupimport jsonfrom xpinyin import Pinyinheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0;...
2019-08-20 09:43:19
1539
原创 python爬取欧美美女图片---xpath方法
这里爬取的是http://sc.chinaz.com/tag_tupian/OuMeiMeiNv.html网站献上欧美美女！！！！from lxml import etreeimport urllib.request,os,timeclass OuMeiSpider(object): def __init__(self,start_page,end_page): ...
2019-08-20 09:38:20
1216
原创 python爬取京东商品评论--jsonpath方法
直接送上代码import urllib.requestimport jsonimport jsonpathimport timeend_page = int(input('请输入爬取的结束页码:'))for i in range(0,end_page+1): print('第%s页开始爬取------'%(i+1)) url = 'https://sclub.jd.co...
2019-08-17 21:27:31
1208
2
原创 正则，bs4 ,xpath 和jsonpath 的匹配规则
正则匹配： 规则 单字符： . : 除换行以外所有字符 [] ：[aoe] [a-w] 匹配集合中任意一个字符 \d ：数字 [0-9] \D : 非数字 \w ：数字、字母、下划线、中文 \W : 非\w \s ：所有的空白字符 \S : 非空白 数量修饰： * : 任意多次 >=0 + : 至少...
2019-08-17 21:18:06
903
原创 python爬虫模拟登陆两种方法
第一种：post提交密码与账号，进行访问import urllib.requestimport urllib.parseimport http.cookiejar#在代码中保存cookie#创建一个cookiejar对象cj = http.cookiejar.CookieJar()#通过cj创建一个headlerhandler = urllib.request.HTTPCook...
2019-08-16 16:48:43
1499
原创 python爬虫xpath方法
这里利用python爬取了站长之家的图片，代码如下from lxml import etreeimport urllib.request,os,timeclass OuMeiSpider(object): def __init__(self,start_page,end_page): self.start_page = start_page self...
2019-08-16 16:40:45
554
原创 python爬取51job网
废话不说了，直接展示代码！！！import urllib.requestfrom bs4 import BeautifulSoupimport reimport time'''项目目标：51job爬取职业，地区，薪资，工资，公司，首先根据url爬取整个网页其次根据爬取的页面获取所要的数据最后用字典一一保存，最后保存在文件夹中'''class python_job(): ...
2019-08-16 16:37:51
1089
1
原创 python爬虫bs4方法
这里只爬取了三国演义整本书from bs4 import BeautifulSoupimport urllib.requestimport timedef get_string(href): request = get_request(url=href) response = urllib.request.urlopen(request) content = re...
2019-08-16 16:35:37
394
原创 python爬取糗事百科的图片
利用python爬取就是百科的所有图片'''拼接url，发送请求得到响应内容，分析相应内容，保存数据'''import urllib.requestimport reimport osimport timedef get_request(new_url): hearders = { 'User-Agent': 'Mozilla/5.0 (Windows NT...
2019-08-15 09:32:14
576
原创 python爬取百度贴吧
利用python爬取百度贴吧的网页，输入贴吧名，起始页，终止页，爬取索要爬取的页面贴吧'''import urllib.requestimport urllib.parseimport timeimport os#输入贴吧名字-起始页码-终止页码bname = input('请输入贴吧名字:')start = int(input('请输入起始页码:'))end = int(...
2019-08-15 09:27:24
596
原创 python爬虫的四种思路方法
普通的get请求以百度搜索为例子'''输入所要搜索的人物，返回搜索界面，将文件保存在文件中'''import urllib.parseimport urllib.request#输入关键字kw = input("请输入关键字：")url = "https://www.baidu.com/s?"#get参数data = { 'ie':'utf8', 'wd':...
2019-08-15 09:22:30
730
原创 python爬虫urllib的request与parse方法
在爬虫前，需要知道这两个知识点！！！字符串转字节类型str --> bytesencode()字节类型转字符串bytes --> strdecode()1.以一个简单的例子讲解urllib.request方法read 读取相应内容，内容geturl 获取请求的urlgetheaders 获取头部信息getcode 获取状态码readlines 按行读取，返回列表...
2019-08-13 23:54:32
1184
原创 python爬虫前的准备
1、爬虫概念 爬虫：写一段代码，去指定的url(网站)去获取指定的数据 互联网：或联网中，给你一个起始url，比如：www.baidu.com,互联网中的节点都是一个al链接，或者称之为url1.1通用爬虫：百度，搜狗，google，雅虎，bing1.1.1他们的工作： 1.爬取所有信息 2.主动提交url3.百度主动和域名服务商合作1.1.2如果不想让百度抓取？robot...
2019-08-13 23:30:16
245
原创 Ubuntu16.04安装FastDFS1.9.9文件系统与Nginx配置相关操作及nginx bad request 400错误解决
1.安装fastdfs依赖包1. 解压缩 libfastcommon-master.zip2. 进入到 libfastcommon-master的目录中3. 执行 ./make.sh4. 执行 sudo ./make.sh install2.安装fastdfs1. 解压缩 fastdfs-master.zip2. 进入到 fastdfs-master目录中3. 执行 ./mak...
2019-08-11 17:49:50
629
原创 Ubuntu16.04中python虚拟环境安装配置
1.安装python/pipsudo apt install python3 安装python3，因为系统已经安装了python2 sudo apt install python-pip 指定python2的pip,使用为pip sudo apt install python3-pip 指定为python3的pip，使用为pip32.python虚拟环境安装(本人安装到...
2019-08-11 17:31:23
915
原创 Ubuntu16.04安装redis数据库
1.更新系统环境sudo apt-get install update #更新软件列表sudo apt-get install upgrade #更新软件这里出现update与upgrade找不到文件也没关系，直接往下走就行了！！！2.安装redis服务sudo apt-get install redis-server3.查看redis服务是否开启ps -aux|grep red...
2019-08-11 17:13:19
215
原创 斐波那契数列递归算法与非递归算法
斐波那契数列，又称黄金分割数列，因数学家列昂纳多·斐波那契以兔子繁殖为例子而引入，故又称为“兔子数列”。斐波那契数列指的是这样一个数列 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, 233，377，610，987，1597，2584，4181，6765，10946，17711，28657，46368…#递归算法# def num(n):# i...
2019-08-06 23:32:53
1173
原创 汉诺塔问题递归方法
汉诺塔问题递归方法'''1.每次只能移动以恶盘子2.小盘子永远在大盘子上面将汉诺塔问题考虑成三步骤;第一步：将n-1个盘子从初始位置移动到缓冲区第二步;将最后一个盘子从初始位置移动到最终位置上第三步：将缓冲区的n-1个盘子移动到最终位置上例子：三个盘子从X位置有移动到Z位置，Y为缓冲去=区移动的步骤：x ----> zx ----> yz ----&...
2019-08-06 23:26:26
444
原创 栈和队列的异同
栈和队列的异同：栈和队列都是线性表，都是限制了插入删除点的线性表（或者说是控制了访问点的线性表）共同点：1.都是只能在线性表的端点插入和删除2.n个（同类）数据元素的有限序列称为线性表。线性表的特点是数据元素之间存在“一对一”的关系，栈和队列都是操作受限制的线性表，他们和线性表一样，数据元素之间都存在“一对一”的关系不同之处：栈只允许在一段进行插入或删除操作的线性表，其最大的特点是“先进后...
2019-08-05 10:26:46
931
原创 计算机网络的简单介绍
计算机网络介绍是指将地理位置不同的具有独立功能的多台计算机及其外部设备，通过通信线路连接起来，在网络操作系统，网络管理软件及网络通信协议的管理和协调下，实现资源共享和 信息传递的计算机系统计算机网络分类局域网：一般来说只能是一个较小区域内城域网：是不同地区的网络互联，不过在此要说明的一点就是这里的网络划分并没有严格意义上地理范围的区分，只能是一个定性的概念。广域网：所覆盖的范围比城...
2019-07-12 16:23:48
231
原创 三次握手与四次挥手
三次握手：TCP服务器进程先创建传输控制块TCB，时刻准备接受客户进程的连接请求，此时服务器就进入了LISTEN（监听）状态；第一次握手：TCP客户进程也是先创建传输控制块TCB，然后向服务器发出连接请求报文，这是报文首部中的同部位SYN=1，同时选择一个初始序列号 seq=x ，此时，TCP客户端进程进入了 SYN-SENT（同步已发送状态）状态。TCP规定，SYN报文段（SYN=1的报文...
2019-07-12 15:45:37
99
原创 python进程
进程：是并发执行的程序在执行过程中分配和管理资源的基本单位，是一个动态概念，竞争计算机系统资源的基本单位。线程：是进程的一个执行单元，是进程内科调度实体。比进程更小的独立运行的基本单位。线程也被称为轻量级进程。一个程序至少一个进程，一个进程至少一个线程。为什么会有线程？ 每个进程都有自己的地址空间，即进程空间，在网络或多用户换机下，一个服务器通常需要接收大量不确定数量用户的并发请求，...
2019-07-12 15:45:21
125
原创 数据库decete与truncate区别
decdte from 表名 where 列名=列值;只删除表内的内容，不删除表的结构，是可以找回被删除的数据truncate table 表名；删除表的内容与表的结构，并且创建新的表的结构，是不可以找回被删除数据的这就是这两个的区别！！！！...
2019-07-12 15:44:52
284
原创 mysql 新版本出现group by 语句不兼容问题
mysql 新版本出现group by 语句不兼容问题1、 具体出错提示：[Err] 1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggregated column ‘information_schema.PROFILING.SEQ’ which is not functio...
2019-07-12 15:44:24
862
ShoppingApp.zip
2019-07-22
BookInfo.zip
2019-07-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人