实用代码记录

已于 2022-08-02 14:59:20 修改
阅读量687 收藏
点赞数
分类专栏： python 文章标签： python
于 2020-08-19 19:26:25 首次发布
Wa-HaHa
本文链接：https://blog.csdn.net/weixin_44424804/article/details/108108557
版权 
# 检测语言
import langid
info = "摺疊式自行車後視鏡同"
lineTuple = langid.classify(info)           #调用langid来对该行进行语言检测
# if lineTuple[0] == "zh":               #如果该行语言大部分为中文，则不进行任何处理
print(lineTuple[0] == "zh")


def processing_data(content_list):
    # 创建一个workbook 设置编码
    workbook = xlwt.Workbook(encoding='utf-8')
    # 创建一个worksheet
    worksheet = workbook.add_sheet('My Worksheet')
    # 写入excel
    for i, content in enumerate(content_list):
        for x, info in enumerate(content):
            worksheet.write(i, x, label=info)  # 将数据存入excel
    # 保存
    workbook.save('汽车2.xls')
    

# 美团接口
http://api.meituan.com/group/v4/deal/select/city/30/cate/1?sort=solds&hasGroup=true&mpt_cate1=1&offset=2&limit=100
http://meishi.meituan.com/i/api/comment/deal


# 存入excel  时间命名
def processing_data(content_list):
    # 创建一个workbook 设置编码
    workbook = xlwt.Workbook(encoding='utf-8')
    # 创建一个worksheet
    worksheet = workbook.add_sheet('My Worksheet')

    # 写入excel
    # 参数对应 行, 列, 值
    if not os.path.isdir("info"):
        os.mkdir("info")  # 定位
    for i, content in enumerate(content_list):
        for x, info in enumerate(content):
            worksheet.write(i, x, label=info)  # 将数据存入excel
    time_now = time.time()
    timeArray = time.localtime(time_now)
    time_now = time.strftime("%Y--%m--%d-%H-%M-%S", timeArray)
    # 保存
    workbook.save('info/%s.xls' % time_now)



# 创建文件夹代码
if not os.path.exists(path):
    os.makedirs(path)

# 新浪微博

https://git.oschina.net/AJay13/ECommerceCrawlers/tree/master/WeiboCrawler

# 超时判断
@retry(stop_max_attempt_number=10, wait_fixed=2000)
def get_all_modules(url):
    url = "https://app.pluralsight.com/learner/content/courses/" + url
    #  maya-2019-fundamentals-dynamics-lighting-rendering
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36",
        "cookie": cookie
    }

    print("获取所有信息,请稍等。。。")
    content = requests.get(url, headers=headers, timeout=3)


    # 微博地区爬虫  上海
    https://m.weibo.cn/api/container/getIndex?containerid=23065700428008631000000000000&page=2

    # 微博高级搜索接口
    https://weibo.cn/search/mblog?advanced=mblog&f=s


    # 机器学习网站  Tf
    http://www.tensorfly.cn/tfdoc/tutorials/mnist_beginners.html

    # 全国位置信息
    https://github.com/lzxue/WeiboDataShare
    https://blog.csdn.net/chinagissoft/article/details/50864485  # csdn


    # 微博 API
    https://open.weibo.com/wiki/%E5%BE%AE%E5%8D%9AAPI

# 微博
    https://place.weibo.com/map/?maploc=-1.006507,-1.006012,12z&uid=5337188542&luicode=20000174


    #直接提取csv
    first_line = True
	for line in open('people.csv'):
	  if first_line:
	    first_line = False
	  else:
	    fields = line.strip().split(',')
	    # print just field 0 (name)
	    print(fields[0])


# 大学详细数据



# from openpyxl import Workbook
# def processing_data(content_list):
#     wb = Workbook()  # 创建文件对象
#     # grab the active worksheet
#     ws = wb.active  # 获取第一个sheet
#     for hh in content_list:
#         ws.append(hh)  # 写入多个单元格
#     wb.save("weibo.xlsx")



# 正则判断邮箱
A、
r'^[a-z0-9][\w\.\-]*@[a-z0-9\-]+(\.[a-z]{2,5}){1,2}$'


# 微博粉丝接口
https://m.weibo.cn/profile/7294287819

# 微博定位
https://place.weibo.com/wandermap/search2?keyword=%E6%89%B6%E8%A5%BF%E6%9D%91



# 微博 个人信息接口
https://m.weibo.cn/api/container/getIndex?uid=5966875630&luicode=10000011&lfid=231522type%3D1%26t%3D10%26q%3D%23%E5%9E%83%E5%9C%BE%E5%88%86%E7%B1%BB%23&containerid=2302835966875630

# 微博 乌鲁木齐
https://weibo.com/p/1001018008665010000000000/checkin#place

# 镜像源

pip install pyinstaller 后面加上镜像源 -i https://pypi.tuna.tsinghua.edu.cn/simple(这是加快速度使用的）


# 微信密钥
7a96949d32b15e6087e8ce337bb016a8



user_agent = [
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
    "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
    "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
    "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
    "Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
    "Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
    "Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
    "MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
    "Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10",
    "Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",
    "Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+",
    "Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0",
    "Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18124",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)",
    "UCWEB7.0.2.37/28/999",
    "NOKIA5700/ UCWEB7.0.2.37/28/999",
    "Openwave/ UCWEB7.0.2.37/28/999",
    "Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999",
    # iPhone 6：
    "Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25",

]

headers = {'User-Agent': random.choice(user_agent)}


# 随机获取一个请求头
def get_user_agent():
    return random.choice(USER_AGENTS)

https://blog.csdn.net/WeiLanooo/article/details/101114434  # pycharm激活
https://blog.csdn.net/WeiLanooo/article/list/2  # 高手文章
https://blog.csdn.net/WeiLanooo/article/details/100812075  # 饿了么


ALTER user 'root'@'localhost' IDENTIFIED BY 'python';  # mysql修改密码
nohup python -u test.py > nohup.out 2>&1 &  # 阿里云 python代码后台运行
https://weibo.com/5044281310/IhRw7a7Rg?filter=hot&root_comment_id=0&type=comment


from lxml import etree

html_get = etree.HTML(resp_text)
div_ok = html_get.xpath('//div[@id="mw-content-text"]')[0]
print(div_ok,type(div_ok))
div_content = etree.tostring(div_ok, pretty_print=True, method='html').decode('utf-8')  # 转为字符串

requests post请求！！

url = "https://ciac.zjw.sh.gov.cn/JGBXMHtbaWsbsWeb/Czhtba/GetCzxzjHtList"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36",
    "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
    "Cookie": "AlteonP=AIn0baXdHKx+VmJP8KbFWg$$",
    "Host": "ciac.zjw.sh.gov.cn"
}
data = {"PageSize":"10","PageIndex":"1","Data":{"QyJgdmz":"","Bjbh":"","Htmc":"","Wsslbh":"","HtWqRq_kssj":"","HtWqRq_jssj":"","HtWqzt":"","BjxxXmmc":""}}
ret = requests.post(url, headers=headers, data=json.dumps(data))

请求失败时记得加 content_type试一下 data类型要转化为json！

有些时候得到的数据需要 json.loads() 多次！

with open(jsonfile,'w',encoding = 'utf-8') as jfile:
        	#即添加参数 ensure_ascii=False，它默认的是Ture
            json.dump(list_all_pages,jfile,ensure_ascii=False,indent = 4)

时间戳转换

from datetime import datetime
s = '2020-10-09 09:35:0'
f = '%Y-%m-%d %H:%M:%S'
# 时间字符串转时间戳, 时间字串 s和format 对应
# int(t) 转为整型
t = datetime.strptime(s, f).timestamp()  # 1559856210.0
print(t, "\n")

import cv2
import numpy as np
import base64

numpy 转 base64

def numpy_to_base64(image_np):
data = cv2.imencode(‘.jpg’, image_np)[1]
image_bytes = data.tobytes()
image_base4 = base64.b64encode(image_bytes).decode(‘utf8’)
return image_base4

numpy 转 bytes

def numpy_to_bytes(image_np):

data = cv2.imencode('.jpg', image_np)[1]
image_bytes = data.tobytes()
return image_bytes

数组保存

def numpy_to_file(image_np):
filename = ‘你的文件名_numpy.jpg’
cv2.imwrite(filename,image_np)
return filename

bytes转数组

def bytes_to_numpy(image_bytes):
image_np = np.frombuffer(image_bytes, dtype=np.uint8)
image_np2 = cv2.imdecode(image_np, cv2.IMREAD_COLOR)
return image_np2

bytes 转 base64

def bytes_to_base64(image_bytes):
image_base4 = base64.b64encode(image_bytes).decode(‘utf8’)
return image_base4

bytes 保存

def bytes_to_file(image_bytes):
filename = ‘你的文件名_bytes.jpg’
with open(filename,‘wb’) as f:
f.write(image_bytes)
return filename

文件 转 数组

def file_to_numpy(path_file):
image_np = cv2.imread(path_file)
return image_np

文件转 字节

def file_to_bytes(path_file):
with open(path_file,‘rb’) as f:
image_bytes = f.read()
return image_bytes

文件转base64

def file_to_base64(path_file):
with open(path_file,‘rb’) as f:
image_bytes = f.read()
image_base64 = base64.b64encode(image_bytes).decode(‘utf8’)
return image_base64

base64 转 bytes

def base64_to_bytes(image_base64):
image_bytes = base64.b64decode(image_base64)
return image_bytes

base64转数组

def base64_to_numpy(image_base64):
image_bytes = base64.b64decode(image_base64)
image_np = np.frombuffer(image_bytes, dtype=np.uint8)
image_np2 = cv2.imdecode(image_np, cv2.IMREAD_COLOR)
return image_np2

base64 保存

def base64_to_file(image_base64):
filename = ‘你的文件名_base64.jpg’
image_bytes = base64.b64decode(image_base64)
with open(filename, ‘wb’) as f:
f.write(image_bytes)
return filename

胖了就多吃点
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
时下流行的浏览器User-Agent大全
肥宝的实验室
03-10 10万+
一、基础知识篇： HttpHeader之User-Agent UserAgent中文名为用户代理，是Http协议中的一部分，属于头域的组成部分，UserAgent也简称UA。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。通过这个标识，用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计；例如用手机访问谷歌和
日常代码记录吖
weixin_43996362的博客
11-25 283
【日常】 git输入错误密码之后 不弹出 账号密码弹框解决办法 设置 - 控制面板 - windows凭据 - 删除凭据 2.clac（100% - 70px） 设置高度宽度 3.vscode 快捷键 快速整理代码格式 Alt+shift+f 选中光标到行首/行尾 shift+Home/End 下一个匹配的也被选中 Ctrl+D 回退光标 Ctrl+U 当前行向下移动一行 alt+down ↓ 当前行向下复制一行 alt+shift+down ↓ 向右拆分 ctrl+ 文件切换 ctrl+tab
记录文档
程序员入门进阶
03-30 272
Framework codes are owned by Google, so we need to focus the changes by QCOM.   1. Get “dumpsys SurfaceFlinger” logs to check SurfaceFlinger is working and displays are registered properly.
代码阅读记录(7)—Point-PN mn40
weixin_45699456的博客
05-05 133
然后，该代码创建了一个 `FileHandler` 对象 `file_handler`，用于将日志写入到指定目录下的 `out.txt` 文件中。`file_handler` 对象的日志级别也被设置为 `INFO`，并使用上述定义的 `formatter` 对象进行格式化输出。- `--ckpt_dir`: 保存检查点的路径，默认为 `./checkpoint/`- `--model`: 模型名称，默认为 `Point_PN_mn40`- `--optim`: 优化器类型，默认为 `sgd`
代码学习记录
z92798889的博客
12-03 304
分层强化学习H-DQN论文的代码学习记录
C++键盘记录程序代码
09-04
主要介绍了C++键盘记录程序代码,是Windows应用程序开发中非常实用的功能,该功能也常被一些远程操控程序所实用,需要的朋友可以参考下
js收入与消费记录计算小工具代码.zip
最新发布
09-27
有兴趣刚需的可以自己下载，非常实用的代码，可以完美运行，有能力的还可以二次修改！
9段PHP实用功能的代码推荐
10-25
本文是记录一下小编常用的几段实用的代码，做项目的时候经常会用到，这里推荐给大家，大家可以随意扩展
BootStrap实用代码片段之一
09-02
主要为大家详细介绍了BootStrap实用代码片段之一，总结在使用BootStrap中遇到的问题，并记录解决方法，感兴趣的小伙伴们可以参考一下
c语言实用代码举例
02-10
　实例30文件的按记录随机读写 第二篇　图形与多媒体 　实例31改变文字背景色 　实例32及本颜色设置 　实例33制作表格 　实例34制作多样的椭圆 　实例35美丽的透视图形 　实例36错位窗口 　实例37能移动的矩形 　...
超级代码助手(管理记录代码的工具)
05-28
NULL 博文链接：https://mocos.iteye.com/blog/625001
日志文件记录代码
10-11
开发过程中用于记录日志，文件开发过程中用于记录日志文件开发过程中用于记录日志文件开发过程中用于记录日志文件开发过程中用于记录日志文件
MetaR:EMNLP 2019论文“用于知识图很少链接预测的元关系学习”的源代码-Source code learning
03-25
MetaR 此存储库显示了EMNLP 2019论文的源代码：。 在这项工作中，我们提出了一个元关系学习（MetaR）框架来进行KG中常见但具有挑战性的少发链接预测，即仅通过观察几个关联三元组来预测关系的新三元组。 运行实验 要求 的Python 3.6.7 PyTorch 1.0.1 tensorboardX 1.8 您还可以通过以下方式安装依赖项 pip install -r requirements.txt 数据集 我们使用NELL-One和Wiki-One来测试我们的MetaR，这些数据集最早是由xiong提出的。 原始数据集和预训练嵌入可以从下载。 您还可以从下载将数据集和预训练嵌入放在一起的zip文件。 请注意，所有这些文件都是由xiong提供的，我们只需在此处选择所需的文件即可。 准备 如果您使用的原始数据集和嵌入，这是一个准备步骤。 请注意，如果您使用我们从发布的数据
软件代码评审表
01-25
该表格规定软件代码评审表格式，明确了各项评审内容，避免遗漏。
Python-MetaSR一个用于超分辨率的放大任意网络CVPR2019PyTorch
08-11
Meta-SR一个用于超分辨率的放大任意网络(CVPR2019)(PyTorch)
20180119文档记录
代码改变生活
01-19 184
全找群网：http://www.admin10000.com/MySql官方文档：https://dev.mysql.com/doc/
自己的代码记录
技术的海洋，知识的海洋。遨游~~
02-22 574
实现九宫格的特殊下标的输出功能。具体代码如下：  public static void main(String[] args) {         // TODO code application logic here         for(int i=0;i             for(int j=0;j                 System.out.printf("[x
python 爬取微博关键词搜索
zhplz123的博客
05-22 3505
# coding:utf-8 import re import random import requests import time import hashlib import json import MySQLdb import multiprocessing from django.utils.http import urlquote mysql_config = {"host": "*****8", "port": ,
SVN管理代码查看文件（代码）操作记录
qq_41560865的博客
11-29 4917
两种方法： 一、从开发工具Eclipse查看 1、右键项目——Team——显示资源历史记录 2、此时可在History视图看到代码操作记录 3、选中某一条操作记录右键——比较 4、选择互相比较的两个版本号，点击OK 5、可以看到所修改的代码文件 6、双击文件即可看到具体修改的内容 二、从本地文件夹查看 1、这种方法的前提是本地文件是从SVN中checkout出来的，方法可参考Torto...
idea保存代码记录的插件
09-02
idea保存代码记录的插件有很多选择。其中一些智能提示插件，如AiXcoder Code Completer、Codota AI Autocomplete for Java and JavaScript，可以帮助你完善代码。还有一些工具可以记录代码检视问题，例如Code Review...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值