笔记资料类
穆洛玄
这个作者很懒,什么都没留下…
展开
-
requests请求自动获取返回数据的编码格式
import requestsurl = "https://www.baidu.com/"header = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'}ret = requests.get(url, headers=header)code = ret.apparent.原创 2022-03-09 19:33:48 · 1173 阅读 · 0 评论 -
python中怎么将xpath返回的结果再次变成HTML
import requestsfrom lxml import etree,htmlres = requests.get('https://weixin.sogou.com/weixin?query=%E6%88%BF%E4%BA%A7&_sug_type_=&s_from=input&_sug_=y&type=1&page=1&ie=utf8')html_info1 = etree.HTML(res)a = html.tostring(html.原创 2022-03-09 19:26:29 · 1296 阅读 · 0 评论 -
mysql连接池实例
环境:Python 3.8.7DBUtils==2.0.2# -*- coding: utf-8 -*-# !/usr/bin/python3# @Author :luoxun# @time: 2021/8/18 19:57# @file: data_warehousing.py# @Software: PyCharmimport pymysqlfrom dbutils.pooled_db import PooledDBdb_config =...原创 2021-08-24 19:46:47 · 141 阅读 · 0 评论 -
线程池创建实例
# 创建队列实例, 用于存储任务queue = Queue()# 定义需要线程池执行的任务def do_job(): while True: i = queue.get() time.sleep(1) print 'index %s, curent: %s' % (i, threading.current_thread()) queue.task_done()if __name__ == '__main__': #.原创 2020-08-21 15:22:15 · 341 阅读 · 0 评论 -
HTTP的由来与发展
HTTP 协议始于三十年前蒂姆·伯纳斯 - 李的一篇论文; HTTP/0.9 是个简单的文本协议,只能获取文本资源; HTTP/1.0 确立了大部分现在使用的技术,但它不是正式标准; HTTP/1.1 是目前互联网上使用最广泛的协议,功能也非常完善; HTTP/2 基于 Google 的 SPDY 协议,注重性能改善,但还未普及; HTTP/3 基于 Google 的 QUIC 协议,是...原创 2020-03-24 11:03:21 · 277 阅读 · 0 评论 -
调试环境python3.6,调试python操作mysql数据库
python3.6下代码如下#coding:utf-8#python3.6使用pymysql操作mysqlprint("=====================mysql数据库=====================")import pymysql.cursors# 连接数据库connect = pymysql.Connect( host='127.0.0.1',...转载 2018-10-27 10:31:42 · 619 阅读 · 0 评论 -
MongoDB监控文档
关闭mongodb服务./mongo --port 20000use admindb.shutdownServer()重启MongoDB库cd /home/local/mongodb/bin/./mongod -f /home/local/mongodb/conf/config.conf --rest./mongod -f /home/local/mongodb/conf/sh...原创 2018-10-27 10:22:28 · 304 阅读 · 0 评论 -
pysql数据库存入的万能语句
# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.htmlimport pymysqlclass HaodPipe...原创 2018-08-01 16:27:08 · 1674 阅读 · 0 评论 -
如何用django框架存放静态图片
首先,创建static文件夹static文件夹与settings.py/urls.py在同级目录。static文件夹下创建css/images/js三个文件夹其次,设置settings.py文件1.INSTALLED_APPS需要加入静态文件的安装: 'django.contrib.staticfiles',INSTALLED_APPS = ( 'django.contrib.auth...转载 2018-05-20 13:53:06 · 1857 阅读 · 0 评论 -
网页状态码和Fiddler使用的补充
HTTP状态码的分类HTTP状态码由三个十进制数字组成,第一个十进制数字定义了状态码的类型,后两个数字没有分类的作用。HTTP状态码共分为5种类型:分类分类描述1**信息,服务器收到请求,需要请求者继续执行操作2**成功,操作被成功接收并处理3**重定向,需要进一步的操作以完成请求4**客户端错误,请求包含语法错误或无法完成请求5**服务器错误,服务器在处理请求的过程中发生了错误HTTP状态码表(...原创 2018-04-28 18:32:32 · 2337 阅读 · 0 评论 -
Fiddler抓包工具的下载和入门级使用
一、下载工具包百度搜索”fiddler 下载“ ,安装最新版本下载的软件安装包为“fiddler_4.6.20171.26113_setup.exe”格式,双击安装。安装成功,在“开始”-“所有程序”,就会看见这样的图标,若是常用的话,也可以在桌面建一个快捷方式,如下图:二、fiddler手机抓包原理在本机开启了一个http的代理服务器,然后它会转发所有的http请求和响应。Fiddler 是以代...转载 2018-04-28 18:15:48 · 1464 阅读 · 0 评论 -
使用python代码发送邮件【163邮箱发送实例】
import smtplibfrom email.mime.text import MIMEText# 连接163邮箱服务器mailserver = "smtp.163.com"# 163邮箱的端口号mailPort = 25# 163邮箱的用户名mailUsername = "wenyucheng8888@163.com"# 使用163邮箱的授权 密码mailPasswd = "1qaz2wsx...原创 2018-04-28 13:42:15 · 7538 阅读 · 0 评论 -
python基础的字符串测试掌握程度小试题【歌词解析】
歌词解析123 13:32:38musicLrc = """[00:03.50]传奇[00:19.10]作词:刘兵 作曲:李健[00:20.60]演唱:王菲[00:26.60][04:40.75 ][02:39.90][00:36.25]只是因为在人群中多看了你一眼[04:49.00][02:47.44][00...原创 2018-04-28 13:35:06 · 298 阅读 · 0 评论 -
正则,bs4,xpath的使用方法
数据匹配的三中方法,bs4,xpath,正则第一种:正则(先导入re库)分为三种查找方法式:re.math(),re.search(),re.findall()re.math():是从所要匹配的字符串的起始位置开始匹配且只值输出一个值,一般不用因为太耗时了;re.search():从所要匹配的字符串的任意位置匹配,但是只输入第一找到的匹配值,所以不适合大多时候;re,findall():从所要匹配...原创 2018-04-27 17:54:45 · 2129 阅读 · 0 评论 -
python基础正则【糗事】
一: 导入的包和网址请求import urllib.requestimport redef handle_url(url,page): url = url + str(page) headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Ge...原创 2018-05-14 08:58:14 · 131 阅读 · 0 评论 -
将数据存储成csv格式的文件
读写CSV数据问题你想读写一个CSV格式的文件。解决方案对于大多数的CSV格式的数据读写问题,都可以使用 csv 库。 例如:假设你在一个名叫stocks.csv文件中有一些股票市场数据,就像这样:Symbol,Price,Date,Time,Change,Volume"AA",39.48,"6/11/2007","9:36am",-0.18,转载 2018-05-09 23:56:54 · 3725 阅读 · 0 评论 -
怎么将数据存储成csv
一:打开编写python程序的软件。二:新建一个python文件,用于编写python程序。三:首先引入python编程需要的包。四:然后就是定义一个列表,用于存放再csv文件里面的数据。五:再然后就是定义存储为csv文件后,列表对应的每一列的列名。六:接着就是使用pandas里面的函数,将已经定义好的列表以及定义好的每一列的名字,整合起来。七:然后原创 2018-05-08 23:28:00 · 10986 阅读 · 2 评论