- 博客(7)
- 资源 (1)
- 收藏
- 关注
原创 爬虫中requests第一血——爬取网页的静态页面
requests是Python爬虫中一个比较常用的包,通过对指定的URL发起网络请求,得到响应。我们可以对响应数据进行响应的操作。在爬虫中,一般就是5个步骤:指定URL发起请求获取响应数据数据解析数据持久化存储案例1,爬取搜狗首页的静态页面数据。Step1:指定URL我们的需求是爬取搜狗首页的静态页面,所以,首先我们就应该指定URL:url = 'https://www.sogou.com/'Step2:发起请求请求协议常见的就是get和post两种,当然还有其他的,这里不介绍
2020-08-01 19:15:58
572
1
原创 解决:/usr/include/fastdfs/fdfs_define.h:15:27:fatal error: common_define.h: No such file问题
在Centos上安装FastDFS时,编译nginx时容易出现这个问题:/usr/include/fastdfs/fdfs_define.h:15:27: fatal error: common_define.h: No such file or directory最暴力直接的方法就是把 /usr/include/fastcommon 下面的文件,复制一份到 /usr/include/fastdfs 再进行编译: make && make install。...
2020-08-01 18:46:11
1194
1
原创 Python的Web框架Django常见面试题总结
什么是wsgi,uwsgi,uWSGI?WSGI:web服务器网关接口,是一套协议。用于接收用户请求并将请求进行初次封装,然后将请求交给web框架。实现wsgi协议的模块:wsgiref,本质上就是编写一socket服务端,用于接收用户请求(django)werkzeug,本质上就是编写一个socket服务端,用于接收用户请求(flask)。uwsgi:与WSGI一样是一种通信协议,它是uWSGI服务器的独占协议,用于定义传输信息的类型。uWSGI:是一个web服务器,实现了WSGI的协议,u
2020-08-01 18:38:06
400
原创 Python易忽视的面试题及解析(持续更新中......)
通过阅读一些面试题博客,有些问题新手比较容易忽视,却不得不提。特此总结如下。Python 中新式类和经典类的区别是什么?在Python 2.x版本中,由任意内置类型派生出的类(只要一个内置类型位于类树的某个位置),都属于“新式类”,都会获得所有“新式类”的特性;反之,即不由任意内置类型派生出的类,则称之为“经典类”。换言之:在python 2.x中,某个类的继承类树中,只要有系统内置的类,就是新式类。“新式类”和“经典类”的区分在Python 3之后就已经不存在,在Python 3.x之后的版本,因为
2020-07-30 12:54:12
577
原创 解决爬虫中lxml.etree.XMLSyntaxError问题
在使用lxml中的etree.parse()方法解析HTML页面源码的时候,可能会报错:lxml.etree.XMLSyntaxError。出现这个问题的主要原因是:html代码书写不规范,不符合xml解析器的使用规范。解决方法修改代码如下:parser = etree.HTMLParser(encoding="utf-8")tree = etree.parse('XX.html', parser=parser)...
2020-07-28 11:09:47
3384
原创 Django中MTV的Model
ModelDjango 对各种数据库提供了很好的支持,包括:PostgreSQL、MySQL、SQLite、Oracle。Django 为这些数据库提供了统一的调用API。 我们可以根据自己业务需求选择不同的数据库。MySQL 是 Web 应用中最常用的数据库。Django安装MySQL驱动pip install pymysql安装完之后,配置驱动,建议在与项目同名的文件夹下的__init__.py文件中注册:import pymysqlpymysql.install_as_MySQLdb(
2020-06-29 23:04:20
180
原创 Django
DjangoSQLite轻量级的嵌入式级的数据库特点是小常用场景Android、IOS、WP数据库常规操作相似度与MySQL达95%实现一个请求注册一个路由在urls.py中URL参数 匹配规则 正则视图函数对应的是views中的一个函数没有括号视图类继承自View实现get/post方法去views中实现对应的函数第一个参数时request永远记得返回ResponseModels使用了ORM技术Objec
2020-06-29 22:50:42
131
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人