- 博客(14)
- 收藏
- 关注
RSS订阅
原创 关于Python3.6及其以上版本安装pyinstaller所遇到的坑
python代码打包pyinstaller与python版本问题pip install pyinstaller如果你是python3.5及其以下的版本,执行该命令可能就会直接安装成功,后面的就不用我多说了但如果你是python3.6及其以上版本就会遇到怎么安装都安装不上的问题,如下图或者你比较幸运给安装上了,在你打包的时候,你也可能会遇到以下问题IndexError: tuple index out of range那么恭喜你,你的python版本与pyinstaller不兼
2020-08-26 19:16:39
2819
原创 Scrapy58同城租房房屋信息（完整）
Scrapy创建Scrapy项目scrapy startproject mySpider生成一个爬虫scrapy genspider 爬虫名字 "允许爬取网址范围"运行爬虫scrapy crawl 爬虫名字Xpath语法提取元素小编相信你们都会的，在此就放上一个官方文档，有需要便可查看Xpath教程58同城字体加密破解字体加密，一般是先找到字体文件，下载到本地，获取字体的映射关系解析真正的数字在页面中我们可以通过查看源码看到该字
2020-07-31 23:05:24
849
2
原创 关于python用setuptools打包库至官方库源或本地库源的记录
setuptools打包库项目库目录规范setup.py的书写上传及下载上传下载python库为什么可以直接通过pip进行下载官方释义： pip 是一个现代的，通用的 Python 包管理工具。提供了对 Python 包的查找、下载、安装、卸载的功能。pip是python库管理工具，是python官方自带的库管理工具，当然，除去pip还有很多python库管理工具，但使用最多的还是pip！在我们进行python开发中一定会用到各式各样的python库，我都会惊呼这也太方便的了，只需要pip一下
2021-05-11 16:16:52
185
原创 浅谈mongodb数据库、及mongodb数据库的用法
MongoDBMongoDB简介SQL和NoSQL的主要区别mongodb作为非关系型数据库相较于关系型数据库的优势mongodb数据库的安装MongoDB使用mongodb客户端mongodb数据库的命令mongodb集合的命令mongodb数据库数据的增删改查插入数据保存数据查询数据简单查询比较运算符逻辑运算符范围运算符支持正则表达式自定义查询skip和limit投影排序统计个数MongoDB简介mongodb 是一个功能最丰富的NoSQL非关系数据库。由 C++ 语言编写。 mongodb 本身
2020-07-23 14:39:54
303
原创 常见网络爬虫反爬机制与反爬机制的解决方案
反爬常见反爬通过User-Agent来反爬通过Referer来反爬通过Cookie来反爬通过js来反爬通过验证码验证行为来反爬通过ip地址来反爬通过自定义字体来反爬通过css样式来反爬js2py模块的使用js2py简介简单使用案例：人人网登录cooike代理池和ip代理池cooike代理池ip代理池常见反爬通过User-Agent来反爬通过Referer来反爬通过Cookie来反爬通过js加密请求参数来反爬通过行为验证来反爬通过ip地址来反爬通过自定义字体来反爬通过css样式来反爬通
2020-07-20 11:56:04
2040
原创 selenium的使用
selenium目录selenium框架selenium简介selenium工作原理简单使用selenium常用使用方法driver对象的常用属性和方法driver对象定位标签元素获取标签对象的方法selenium其他使用方法selenium标签页切换switch_to切换frame标签selenium对cookie的处理selenium控制浏览器执行js代码selenium开启无界面模式selenium使用代理ipselenium替换user-agentselenium框架selenium简介Se
2020-07-19 15:44:16
287
原创 Web Crawler 基础
这里写目录标题Web Crawler（网络爬虫）网络爬虫的分类网络爬虫的流程网络爬虫发送请求方法使用requests模块requests模块的请求方法返回response对象代理的使用对一些反爬情况的处理使用cookie的处理requests中cookirJar的处理方法Web Crawler（网络爬虫）网络爬虫字面意思无非就是一只在网络上爬行的虫子嘛，那他到底是怎么样去进行爬的呢？网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网
2020-07-17 19:33:37
923
原创 SQLzoo练习
这个例子显示’France法国’的人口。字串应该在’单引号’中。修改此示例，以显示德国Germany的人口。SELECT population FROM world WHERE name = 'Germany '查询显示面积为5,000,000以上平方公里的国家，该国家的人口密度（population/area）。人口密度并不是WORLD表格中的栏，但我们可用公式（populatio...
2020-04-28 19:39:17
901
原创 c++基础（二）
目录字符串Vector函数字符串char greeting[6] = {'H', 'e', 'l', 'l', 'o', '\0'};//可以简写成：char greeting2[] = "Hello";遍历字符串 ： 字符串实际上背后还是一个数组，所以可以使用数组遍历的手法来获取每一个字符 。char name[] = "hello";for (int i = 0; i ...
2020-04-22 22:28:53
107
原创 C++基础
目录C++优缺点以及与python的对比与Python对比C++入门示例C++注释变量输入&输出判断语句运算循环C++优缺点以及与python的对比优点实现了面向对象程序设计。在高级语言当中，处理运行速度是最快的，大部分的游戏软件，系统都是由C++来编写的功能强大，嵌入式首选。C++加上严格的codereview可以用来开除猪一样的队友，这是所有其他语言都不具备的功能缺...
2020-04-16 20:29:49
229
原创 Tcp和Udp&多任务
目录UDPTCPTcp三次握手和四次挥手多任务并行和并发多线程多进程UDP1.UDP网络发送数据# coding=utf-8import socket# 1. 创建udp套接字udp_socket = socket.socket(socket.AF_INET,socket.SOCK_DGRAM)# 2. 准备接收方的地址# '192.168.1.103'表示目的ip地址# ...
2020-04-14 21:38:29
254
原创 Http协议简介以及工作原理
目录Http协议简介工作原理Http协议http是一个简单的请求-响应协议，它通常运行在TCP之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。请求和响应消息的头以ASCII码形式给出；而消息内容则具有一个类似MIME的格式。这个简单模型是早期Web成功的有功之臣，因为它使得开发和部署是那么的直截了当。简介HTTP是应用层协议，同其他应用层协议一样，是为了实现某一类具...
2020-04-12 17:06:44
1262
原创 Linux命令用法总结
LinuxLinux基本命令的基本使用常用Linux命令用法不常用Linux命令用法查看或配置网卡信息ifconfig:ping:Linux基本命令的基本使用命令作用ls查看当前文件下的内容pwd查看当前所在文件夹cd【目录名】切换文件夹touch【文件名】如果文件不存在，创建文件mkdir【目录名】创建目录rm【目录名】删除目录...
2020-04-12 16:44:50
137
原创 Python语言用法总结
python语言注释判断语句循环字符串操作列表字典操作函数匿名函数文件操作面向对象类方法静态方法__new__方法单例模式异常捕获异常注释单行注释 ： #多行注释 ：""" """判断语句if加else if 条件: 满足条件时要做的事情1 满足条件时要做的事情2 满足条件时要做的事情3 ...(省略)... ...
2020-04-07 22:01:25
482
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人