python
文章平均质量分 59
Java川
这个作者很懒,什么都没留下…
展开
-
微信小程序反编译工具及方法
小程序反编译说明采用了云开发的部分js源码无法获取,并且小程序开发的ID不是自己的,无法进行微信登录调试相关操作,因此反编译后的代码仅仅拿来做开发调试参考。工具下载:https://ukm028kzyr.feishu.cn/docs/doccnW1w3vwpcnjTeTYKcdErjtK反编译方法大致过程是先找到电脑本地小程序包所在位置,使用上方工具解密,再利用上方反编译工具反编译得到源码。1.找到小程序加密包windows该“\WeChat Files\Applet\小程序id” 目录原创 2022-05-17 22:10:04 · 6324 阅读 · 5 评论 -
Microsoft Visual C++ 14.0 is required解决方法【自安装python whl包方法】
目录说明安装whl包步骤查看适配本平台的whl版本下载whl包安装whl包潜在bug说明一般机器学习涉及的包需要c++编译工具编译相关包。故可以下载visual studio以及相关工具。这样比较麻烦,可以换成直接安装相关python whl 包直接进行安装。安装whl包步骤查看适配本平台的whl版本进入cmd直接输入命令pip debug --verbose找到comoatilable tag下 适配本平台版本的whl包。以上红色框内就是符合你自己电脑安装的python whl包版本。原创 2022-04-23 16:32:37 · 2571 阅读 · 0 评论 -
gitee page一键部署自动化脚本
gitee page页面一键部署的脚本。介绍gitee page页面一键部署的脚本,老是手动去点挺烦的。坑点及下载要下载chrome对应版本的chromedriver,并安装在在chrome.exe同一级目录下,或者代码内指定chromedirver的调用位置,否则无法控制chrome。因为代码默认调用由系统管理的chrome,因此会默认调用chrome.exe同级目录下的chromedriver。系统默认调用的就是添加在环境变量内的。chromedriver下载地址:http://npm.原创 2021-12-14 19:43:51 · 1946 阅读 · 0 评论 -
【全网最全解决方案】pymysql数据库中文乱码
解决pymysql数据库中文乱码。考虑pymysql的版本,连接数据库时设定字符集,修改connections.py默认字符集。原创 2021-12-09 21:30:42 · 4127 阅读 · 1 评论 -
Kafka分布式流处理平台基础概念学习
kafka学习官网:https://kafka.apachecn.org/intro.htmlkafka的架构和基础概念5个部分组成:topic是对数据记录和分类的地方,包括key value 和一个timestamp数据库DB是数据库,Connector是连接数据库 将数据写入到Kafka集群系统。producer是可以产生数据的应用程序,将数据产生存储写到topic中consumer是消费者 读取topic里面的数据stream数据处理器,可以处理topic里面的数据原创 2021-09-06 15:55:04 · 218 阅读 · 0 评论 -
豆瓣爬取任意电影任意条评论| 评论统计分析
本脚本可以配合词语图一起使用。 该脚本 爬取电影评论放入txt文档,词云图脚本 可以读取文档生成词云图。????词云图脚本生成使用方式1.如下headers内Cookie需要自己补充。2.脚本需要输入电影的豆瓣id,如下图所示搜索 海上钢琴师,链接上就有豆瓣id。代码import requestsfrom bs4 import BeautifulSoup #解析页面from lxml import etree #xpath库# 查询电影 https://search.doub原创 2021-08-28 23:39:02 · 775 阅读 · 3 评论 -
python词云图生成脚本
停用词库需要自己下载。mask遮罩图片需要自己搞一张,弄一张椭圆的图片,必须背景色是白色,那么词云图输出就是椭圆。mask.png代码#coding=utf-8#@Time : 2021/8/23 14:16#@Author :java川#@File : 词云图#@Software: PyCharmimport timeimport jieba #分词from wordcloud import WordCloud #词云from PIL import Image #图片原创 2021-08-23 17:22:06 · 586 阅读 · 1 评论 -
python图片ocr识别手写印刷体中英文字体
脚本说明:脚本需要修改 APPID 以及 API_KEY的值,请到讯飞api平台获取。首先截图,然后打开脚本直接运行,该脚本自动识别剪切板上内容,脚本运行结束后,直接crtl+v复制。# -*- coding: utf-8 -*-import base64import hashlibimport timeimport keyboard as keyboardimport pyperclipimport requests#获取剪切板内容from PIL import ImageGrab原创 2021-08-21 22:36:21 · 1659 阅读 · 0 评论 -
python2导入本地包package问题
原文:python3导入包问题以前很懵,一直没搞懂这个python导包是如何规定的,今天flask项目的时候,想要导入自己本地包,却发现怎么也导入不成功。后来查了一番资料,并验证了一下。原来是 包下一定要创建 init.py文件 ,这个包里面的py文件,函数,变量 才可以被其他文件导入。app包下创建__init.py_init.py文件内容要写下 需要导入 你想要 被其他文件导入的文件 。这样其他文件才可以导入这个包里面的文件。我导入了如下views.py apis.py app/util原创 2021-07-30 13:45:26 · 220 阅读 · 0 评论 -
数据挖掘之梯度下降法思想及其实现
要不是大学闲的蛋疼,没事干,我是不会来搞什么技术的。看这玩意儿,解决了高数没曾理解的一些东西的概念。数学不好,算法难搞原创 2019-04-20 22:36:00 · 1120 阅读 · 0 评论 -
数据挖掘从入门到绝望之数据-分词
一.自然语言分析基本术语:1.词频2.停用词二.分词 jieba模块的基本使用:https://github.com/fxsjy/jieba…三.读取不同文本格式的方法:1.2.…原创 2019-04-01 09:21:01 · 385 阅读 · 0 评论 -
多线程异步爬虫之光速下载图片
多线程----异步爬虫(光速下载)1.使用到的重要的模块:(1).threading #线程相关的模块(2).queue模块中的Queue类 #构建线程安全队列2.知识点整个代码模式:采用了生产者与消费者模式。线程创建方式:采用类对象的封装。为了让线程代码更好的封装。采用threading模块下的Thread类,继承自这个类,然后实现run方法,线程就会自动运行run方法中的代码...原创 2019-05-11 17:16:08 · 611 阅读 · 1 评论 -
爬虫进阶之多线程
线程的创建一些概念进程如程序,打开资源管理器,你就会发现每一个个程序的运行,是靠进程来维持的。而线程如每个进程里的每一小块,维护进程的运行。多线程是为了同步完成多项任务,通过提高资源使用效率来提高系统的效率。python的标准库提供了两个模块:_thread 和threading。通常我们只需要threading这个高级模块,它对_thread也有封装。线程的小知识点:thread...原创 2019-05-06 12:50:09 · 189 阅读 · 0 评论 -
爬虫之数据存储总结(数据库存储待更新)
文件存储到本地保存格式有:txt csv(表格形式,excel) json(类似字典)等保存地点:数据库,本地文件打开方式:r 读的方式打开文件rb 二进制的方式读文件 通常打开一些图片音频类的文件用这个r+ 读写的方式打开文件rb+ 二进制读写的方式打开文件w 写的方式打开文件wb 二进制的形式写入文件 通常将图片或音频 写入文...原创 2019-04-27 18:03:50 · 665 阅读 · 0 评论 -
实战--用正则re提取数据--爬取中国诗词
知识:正则大概需要掌握的函数有:match函数 必须以字符串开头开始匹配,否则会错search函数 可以任意从哪个字符串开始匹配 (常用)findall函数 返回所有符合正则表达式的内容,返回的是列表 (常用)compile函数 当重复使用某一个正则表达式的时候,可以先把这个表达式compile一遍,提升运行效率爬虫中正则的基本使用:https://blog.csd...原创 2019-04-26 22:59:28 · 713 阅读 · 0 评论 -
实战--用BeautifulSoup提取数据--中国大学排名
import requestsimport bs4from bs4 import BeautifulSoup #将html文档变成更具有结构性的dom树,便于解析,提取数据#获取html界面def GetHtmlText(url): try: r=requests.get(url) r.encoding=r.apparent_encoding ...原创 2019-04-26 20:06:26 · 249 阅读 · 1 评论 -
requests库使用
基本的库有:urllib requests1.urllib较为复杂,麻烦。爬虫通常不使用。所以这里介绍requests。先讲.获取资源的几种请求方法:get 方法 -------直接从服务器那里获得资源。post方法 --------修改服务器上的资源。大多是提交表单或许上传文件,数据包含在请求体中put方法 ----------从客户端想服务器发送数据并取...原创 2019-04-24 00:48:30 · 414 阅读 · 0 评论 -
千千音乐付费音乐爬取--json数据的处理
通过更换songid就可以下载不同的音乐了。千千音乐获取songid的方法:站内搜索音乐,网址尾部数字就是。用了网上的别人给出的获取songlink的接口:更多音乐网站接口请看:https://blog.csdn.net/weixin_43919632/article/details/88758954import requestsimport pprintimport json#...原创 2019-04-17 23:37:55 · 1794 阅读 · 4 评论 -
爬取中国城市天气--BeautifulSoup
使用到的库:知识点:注意点:全代码:#--*encoding:utf-8*--import requestsfrom bs4 import BeautifulSoupimport pyecharts"""目标:获得华北地区最热的前十名城市,并可视化打印出柱体页面分析:1.class="hanml"下的每个div,attrs={"class":"conMidtab"}标签表示...转载 2019-04-17 00:32:45 · 1113 阅读 · 0 评论 -
大数据学习--使用到的库
urllib3 请求库requests 请求获取资源from bs4 import BeautifulSoup 解析库from lxml import etree 解析库html5lib解析库re 正则 解析库os 文件操作time 时间操作threading 线程from selenium import webdriver 自动化测试工具scrapy 爬虫框架te...原创 2019-04-16 23:58:47 · 180 阅读 · 0 评论 -
爬虫之提取数据xpath/BeautifulSoup/css/正则(re)的基本使用
提取数据常用的三种方法:1.xpath方法 与lxml的etree配合使用2.BeautifulSoup3.正则1.xpath使用参考菜鸟教程:http://www.runoob.com/?s=xpath2.BeautifulSoup基本使用案例:#-*encoding:utf-8 *-#BeautifulSoup 基本使用案例# 1.获取所有tr标签# 2.获取第二个tr标...原创 2019-04-13 19:08:48 · 693 阅读 · 0 评论 -
requests+xpath爬取电影天堂电影信息
电影天地网址:http://www.ygdy8.net/html/gndy/china/list_4_1.html目标:1.爬取电影天堂的国内电影一栏的所有电影的url2.进入每个电影的url获取电影的信息使用到的库:请求获取资源:requests库配合xpath使用的库:from lxml import etree定位数据:xpath系统文件相关的I/O操作:os库创建线程使用...原创 2019-04-12 21:29:20 · 1626 阅读 · 0 评论 -
各大音乐网站接口
参考:https://blog.csdn.net/jingtian678/article/details/71096935转载 2019-03-23 12:33:06 · 14342 阅读 · 0 评论 -
爬虫之代理ip池+小说加语音
使用不同ip进行爬虫的使用方法范例:import requestsimport random#ip的格式 IP地址+端口ip_list=[{‘112.87.69.200‘’:‘’9999’},{'183.148.139.70':'9999'},{'111.177.186.194':'9999'}]ip=random.choice(ip_list)#两种协议 一种是http一种...原创 2019-03-17 17:19:35 · 239 阅读 · 0 评论 -
post和get请求区别
请看:https://blog.csdn.net/yipiankongbai/article/details/24025633转载 2019-03-16 17:52:51 · 104 阅读 · 0 评论 -
爬虫tesserocr识别验证码及百度api语音接口 使用案例
一.百度语音api1.先注册 地址:http://ai.baidu.com/?track=cp:ainsem|pf:pc|pp:tongyong-pinpai|pu:pinpai-baiduAIkaifangpingtai|ci:|kw:100038172.下载百度语音识别python sdk 详情见:http://ai.baidu.com/docs#/ASR-Online-Python-...原创 2019-03-16 17:47:33 · 700 阅读 · 0 评论 -
tessecocr/tessecact的下载(验证码的识别)
注意:tesserocr与tesseract所下载的版本要对应。否则会出现问题,但是按照如下,就不会出错啦一.下载tesseracttessecact下载地址https://digi.bib.uni-mannheim.de/tesseract/下载如下版本ps:将下载的tesseract放到python安装的lib/site-packages目录下二.下载tessecocrtess...原创 2019-03-10 17:29:19 · 344 阅读 · 0 评论 -
requests+xpath爬虫实战--csv存储
2019-3 九龙坡爬虫目标:爬取url='http://www.cqjlpggzyzhjy.gov.cn/cqjl/jyxx/003001/003001002/MoreInfo.aspx?CategoryNum=003001002’里面70页所有的1.中标公示的名称 日期,以及每个中标公告的url2.进入每个url爬取里面的字段这是每个中标公示里面的内容:我们需要爬取项目名称,招标公告编...原创 2019-03-03 17:02:46 · 1505 阅读 · 0 评论 -
小白对scrapy爬虫框架的大概认识
一:对scrapy的认识:1.scrapy只是一个爬虫的***框架***,他把爬虫的需要的共性的东西都默认写下来了,只需要我们具体细化,具体分析补充里面的细节的东西。就像造房子一样,scrapy就充当了一个房屋架构,至于房屋里面的东西 需要我们自己去补充设计。2.scrapy的几个部分: 引擎(engine) 爬虫(spider)调度器(scheduler) 下载器(downloader...原创 2019-02-25 17:23:44 · 305 阅读 · 0 评论 -
由网站连接不安全导致摄像头不能有权限而打不开
我个人网站之前摄像头打不开,检查了半天以为是nginx配置错误,最后发现是由于不安全连接,浏览器给我自动关闭了摄像头打开的权限。。。。。。。。。最后去网上搞了个免费SSL证书,才得以成功。免费申请SSL证书https://certbot.eff.org/lets-encrypt/ubuntuother-nginx...原创 2019-10-15 17:13:15 · 3443 阅读 · 0 评论 -
不蒜子实现网站访问量访客数统计
个人博客网站:http://zhangchuanjun.cn or 进入我的博客js代码<script> //流量统计 if (localStorage.pagecount) { localStorage.pagecount = Number(localStora...原创 2019-09-21 01:57:02 · 1721 阅读 · 1 评论 -
python实现网站分页
原文链接:https://blog.csdn.net/weixin_36380516/article/details/80295101在web开发中,Flask web项目中实现分页,使用py编写。首先,自定义一个分页工具类page_utils: class Pagination(object): def __init__(self, current_...原创 2019-09-20 09:02:37 · 514 阅读 · 0 评论 -
flask---jquery下ajax的使用--传参数
使用ajax可以实现局部请求,局部更新。而不是整个页面都更新。1.GET请求下传参数,这是个发送验证码的例子function send_email(){ var email=$("#email").val(); var yanzhengma=$("#yanzhengma").val(); var reg=/[1-9][0-9]{4,9}@qq.com/; ...原创 2019-08-11 22:05:44 · 2311 阅读 · 0 评论 -
粗略html/css急速入门
粗略的html简介:html标记语言,有标签,标签有属性。网页内容通常写在body中通用属性:id class等css中“#”id选择器 点“.”class选择器特殊属性:href 等常用内容标签:<u>下划线<b>黑体 <strong>加粗<i>斜体字<a>链接跳转标签 或 锚链接:<a>标...原创 2019-08-02 23:34:01 · 142 阅读 · 0 评论 -
网页中嵌入MarkDown编辑器以及转换markdown数据到前端展示
使用Editor.md 实现嵌入官网详情:https://pandao.github.io/editor.md/我的百度网盘资源:链接: https://pan.baidu.com/s/1Ec5jVkYFTguZi04D9t1IyQ 提取码: 111r一些用法:参考资源中的READE.md如何使用这个editormd?1.flask项目中直接将整个文件放入到flask项目中的stati...原创 2019-07-27 21:04:06 · 4075 阅读 · 3 评论 -
flask---flask_sqlalchemy操作数据库基本操作
flask_sqlalchemy操作数据库一些关键字的理解:primary_key =True 设置主键autoincrement=True 自动递增nullable=True 允许为空default =datetime.now 获取每次执行这语句的当前时间datatime.now() 只获取第一次运行的时间relationship 构建与对象的关联关...原创 2019-07-24 22:02:49 · 445 阅读 · 0 评论 -
flask小白入门(重点总结)
flask入门一个基本flask项目目录结构flask├── app 该项目文件│ ├──__ init__.py 初始化文件│ ├── routes.py 路由设置│ └── templates 模板文件│ ├── base.html│ └── index.html├── run.py 启动文件|—–congfig.py ...原创 2019-07-19 12:49:30 · 734 阅读 · 0 评论 -
B/S架构大概说明////网络请求大概过程
文章目录深入web请求过程1.B/S网络架构概述一个url请求过程:首先了解一些基本概念:资源访问过程:2.HTTP解析3.域名解析过程3.1几种域名解析方式深入web请求过程1.B/S网络架构概述B/S架构,浏览器/服务器 模式。浏览器具有统一性,他不需要特殊的配置和网络连接,有效的屏蔽了不同服务商提供给用户服务的差异性。服务器是基统一的http协议的。http协议是一种网络连接...原创 2019-06-23 20:30:49 · 1787 阅读 · 0 评论 -
ubunutu/Windows下安装配置使用开源人脸识别库face_recognition
修改自:https://blog.csdn.net/qq_38228830/article/details/80231702简介:face_recognition该库可以通过python或者命令行即可实现人脸识别的功能,基于dlib C++深度学习人脸识别技术构建。安装:由于face_recognition是基于c++d深度学习dlib库的,因此python直接 pip install ...原创 2019-09-10 14:03:03 · 265 阅读 · 0 评论