- 博客(14)
- 收藏
- 关注
RSS订阅原创 http协议中对url的长度是否受限制
http 1.1 协议中对url的长度是不受限制的虽然协议中未明确对url进行长度限制，但在真正实现中，url的长度还是受到限制的，一是服务器端的限制，二就是浏览器端的限制。服务器端在服务器端，主要是apache，jboss和nginx等，由于现在项目中主要用到nginx，所以强调下它的设置参数：large_client_header_buffers该参数对nginx服务器接受客户端...
2019-11-14 09:10:50
451
原创 MySQL的SQL语句长度限制
mysql是有语句长度限制的，默认为1M的长度如何修改SQL语句长度window系统在MySQL的安装目录下找my.ini配置文件Linux系统在MySQL的安装目录下找my.cnf配置文件默认的my.ini和my.conf配置max_allowed_packet=1M将其修改为max_allowed_packet= 需要修改的值...
2019-11-13 19:39:49
1125
原创 MySQL的基本使用（二）
插入数据(字段与值要一一对应)insert into 表名 (列字段，列字段....) values (列值，列值....);获取数据select 字段列表 from 表名 查询条件删除数据delete from 表名 删除条件;修改数据update 表名 set 字段1=新值1,字段2=新值2…….条件查看当前版本select version()各个引擎简介In...
2019-11-12 20:15:48
201
原创 MySQL的安装与基本使用(一)
MySQL安装（Linux）打开终端输入命令sudo apt-get install mysql-server mysql-clientMySQL使用数据库创建数据库create databases 数据库名 charset=utf8;create database if not exists 数据库名 charset=utf8;使用use 数据库名;...
2019-11-07 21:00:53
171
原创 安装虚拟环境（环境搭建）
打开终端输入sudo pip3 install virtualenv再次输入sudo pip3 install virtualenvwrapper修改用户家目录下的配置文件 .bashrc，输入export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3，再输入source /usr/local/bin/virtualenvwrapper.sh执行so...
2019-10-26 14:51:03
113
原创 MySQL，Redis，MongoDB 三种数据库优势
- MySQL（mysql使用的sql语言是用于访问数据库的最常用标准话语言）mysql是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中而不是将所有数据放在一个大仓库内，能够增加查询效率提高灵活性，优点：体积小、查询速度快、支持多种操作系统总体拥有成本低、支持多线程能充分利用CPU。- Redis是一个开源的使用ANSI C编写的，遵守BSD协议，支持网络，可基于内存持久化数据的...
2019-10-26 14:40:24
785
原创 Ubuntu安装Chrome（64位）命令行安装
打开终端wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.debsudo dpkg -i google-chrome*sudo apt-get -f install搜索使用，固定到启动器
2019-10-26 14:35:07
249
原创 scrapy部署
相关的中文文档地址https://scrapyd.readthedocs.io/en/latest/安装pip3 install scrapydpip3 install scrapyd-client检查安装是否成功scrapyd-deploy -h修改scrapy项目目录下的scrapy.cfg配置文件[deploy]url=http://localhost:6800...
2019-09-21 16:56:40
253
原创 scrapy_redis分布式爬虫
这里写自定义目录标题安装使用scrapy_redis好处工作流程合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入安装pip3 ...
2019-09-21 16:33:59
248
原创 pyquery
pyquerypyquery相当于jQuery的python实现，可以用于解析HTML网页等。它的语法与jQuery几乎完全相同，对于使用过jQuery的人来说很熟悉，也很好上手安装pip3 install pyquery注意：由于 pyquery 依赖于 lxml ，要先安装 lxml ，否则会提示失败。pip3 install lxml属性值属性描述.ht...
2019-09-10 20:13:44
277
原创 线程，线程池
什么是线程线程是CPU执行的基本单元，线程的执行是无序的，同一进程下的线程之间资源共享，线程多用来存储I/O密集型任务GIL：全局解释器锁，因为CPython解释器，存在GIL全局解释器锁，保证同一时刻只有一个线程在执行，所以说相当于单核执行，线程并不能充分利用CPU资源使用使用模块 import threadingthreading.Thread()—— target:线程...
2019-09-10 19:11:15
93
原创 Beautiful Soup 4
Beautiful Soup 4安装pip install beautifulsoup4什么是beautiful soup？是python的一个HTML或XML的解析库，可以用它来方便地从网页中提取数据Beautiful Soup支持的解析器解析器使用方法优势Python标准库BeautifulSoup(markup,'html.parser')Python的...
2019-09-10 18:54:29
125
原创 xpath解析
安装xpathpip3 install lxml什么是XPath？XPath即为XML路径语言（XML Path Language），它是一种用来在XML文档中查找信息的语言，可用来在 XML 文档中对元素和属性进行搜索，同样也适用于HTML。什么是XML？XML 指可扩展标记语言（EXtensible Markup Language）XML 是一种标记语言，很类似 HTMLXML...
2019-09-09 19:17:59
216
原创 总结urllib,re
urllibrequest: 它是最基本的HTTP请求模块，可以用来模拟发送请求，就像在浏览器中输入网址，然后敲击回车键一样，使用的时候只需要给库方法传入相关的URL和相关的参数即可．from urllib import request#创建一个request对象# url:目标url地址# data=None,默认为None，表示是一个get1请求，反之为post请求# heade...
2019-09-07 17:41:38
137
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人