- 博客(17)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 python 爬虫-‘斗图啦’网站图片下载
python 爬虫练手，爬取 下载 斗图啦网站前100页最新图片。、 其中知识点启用线程安全及多线程的方式进行同时下载。目前跑代码未出现异常报错。 以下实例代码 # -*- encoding=utf8 -*- import requests from lxml import etree import os import re import threading from queue import Queue class P(threading.Thread): headers = {
2020-12-17 14:05:53
304
原创 python 爬虫-爬取小说网站-小白级
第一次编写爬虫网站。（感觉有点较凌乱） 各位大神，如果有更好的意见，欢迎指点建议。谢谢。 目前代码基本上能按照正常的思路扒取小说内容。 思路如下：首先进入小说网站首页---》然后选取要下载的系列----》然后开始下载当前系列的所有书本链接，并存放json----》然后读取json文件内的数据进行下载。 目前代码能够按照思路进行下载，但是下载速度太慢了 ，没有进行多线程下载（持续更新这部分功能）。 我反爬机制没做好，如果在同一个局域网，两台不同的电脑&不同的请求头，同时运行，会处罚到网站的反爬
2020-09-16 10:32:06
2947
原创 Python print长数据省略的问题
Java获取python返回值时，可以通过print()来获取，但如果数据量过长，打印出的结果将会包含省略号。同样，Java接受到的数据也是包含省略号的。也就是说，python本地打印出是什么样子，Java接收到的就是什么样子。 处理大量数据中打印省略的问题： 1. 对于Numpy数据： 在输出print()位置前加入： 1 np.set_printoptions(threshold=np.inf) 通过设置输出选项，将阈值设置为一个较大的数，从而实现完整长度的打印。 2. 对于pan
2022-02-13 15:47:30
5627
原创 超简单安装dlib
首先下载visual studio 2019 地址:https://visualstudio.microsoft.com/zh-hans/vs/ 3.下载好以后点击安装 必选C++环境，python环境可以勾选，也可以自己单独下载python解释器。 python3.7.3下载地址:https://www.python.org/ftp/python/3.7.3/python-3.7.3-amd64.exe 4.设置Cmake环境为系统环境变量 我们之所以安装...
2022-01-22 11:17:07
1602
2
原创 python 安装pybluez 踩坑记
1、安装pybluez pip install pybluez 2、提示需要安装c++ 14.00的框架。 网上给的安装包都不好使。直接上官网下载，并安装visual studio 社区版本，并选择需要的语言以及环境。 3、提示 原因分析： 这个主要是因为Windows 10 SDK将“IRPROPS.LIB”这个文件移除了。参考别的大佬的说明讲一下这个文件是干什么的： 这个文件是1990年代到2000年代间为红外通信之类的近场通信准备的。在2004年，Windows XP SP...
2021-09-10 17:28:24
2680
原创 python time 时间戳和日期时间 相互转换
import time #now = int(time.time()) # 把当时时间转换成时间戳 t = time.localtime() r = int(time.mktime(t)) print(r) # 把时间戳转换成一定格式的日期和时间 timeArray = time.localtime(r) otherStyleTime = time.strftime("%Y/%m/%d %H:%M:%S", timeArray) print(otherStyleTime) # 再把日期和时间转换成时.
2021-08-16 23:25:12
917
原创 pyqt5 弹窗大全
from PyQt5.QtWidgets import * from PyQt5.QtCore import Qt, pyqtSignal, QTimer class MyWindow(QWidget): def __init__(self): super().__init__() self.setWindowTitle('PyQt5 弹出窗口（框）大全') self.resize(400, 300) # 全局布局（.
2021-08-14 16:21:31
1139
原创 python 爬取 网易翻译
#没有优化代码结构，只是简单得实现了功能。不喜勿喷。 效果如下 以下是源码 import hashlib import time,random import requests url3 = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule' headers2 = { 'Content-Length': '2205', 'Cookie': '_ntes_nnid=3014c96856733
2021-04-06 15:44:22
292
原创 python爬虫+抖音分享链接=可直接下载视频链接
#仅供学习参考。 目标：由抖音分享出的链接，经过解释后，可以得到直接下载的视频链接，可以使用迅雷、浏览器等工具进行下载。 功能：原本想增加一个可以直接下载成视频的链接，技术不到家，然后久没有深入了。如果有实力的小伙伴，可以往这个方向去实现功能。 代码实现，往下看。 以下为实例图： #耗时的长短，和当前的网络有直接关系，如果想要更快更稳，可以自己优化一下代码。 #代码效率有待优化。 import requests import re import time headers =.
2021-03-10 18:18:26
6497
6
原创 python爬虫+pyqt5制作完成 ＜在线翻译软件.exe＞
#仅供学习参考。 目标网站：网易翻译+pyqt5 = 在线翻译.exe 功能需求：中英互译，其他国家语言也行，如果能用键盘打得出来得话，这部分功能没怎么测试。 界面介绍：因为有时候网络有延迟，所有增加了个翻译消耗时间。 具体代码实现。往下看。 以下为效果图： 功能测试图。 import sys from PyQt5.QtWidgets import QApplication, QWidget, QLabel, QTextEdit, QTextBrowser, ...
2021-03-10 17:47:50
634
原创 python打开文件夹，提取当前文件夹下得所有文件名
#打开某个文件，并把当下得文件名提取出来，并保存为TXT #20210309 import os path = 'C:\\Users\\Administrator\\Desktop\\' ddd= os.listdir(path) #打开这个文件夹 with open('C:\\Users\\Administrator\\Desktop\\111.txt','w',encoding='utf-8') as file: for i in ddd: file.write(i+'\n.
2021-03-09 14:25:48
647
原创 14个面试问题
##搬砖侠### 1、检查列表是否包含整数x l = [3, 3, 4, 5, 2, 111, 5] print(111 in l) # True 2、在整数列表中查找重复的数字 def find_duplicates(elements): duplicates, seen = set(), set() for element in elements: if element in seen: duplic...
2021-02-18 18:40:57
156
原创 关于python创建虚拟环境
*关于创建虚拟环境的必要性：因为python的框架更新迭代很快，有事需要在电脑上存在一个框架的多个版本，这时候虚拟环境就可以解决这个问题。* 以windows为例子： 1、先安装virtualenv使用命令：pip install virtualenv 2、安装完成后，进入到需要创建的虚拟环境的文件夹当中，使用virtualenv 创建一个虚拟环境，比如：virtualenv crawl-env 3、创建完成虚拟环境之后，进入crawl-env（文件夹）的Scripts（文件夹），使用激活命令：ac
2021-01-31 23:25:05
181
原创 python笔记-正则表达式
一、正则表达式 正则表达式(regular expression)描述了一种字符串匹配的模式（pattern），可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。 import re ###匹配单个字符 #1、re.match 只可以匹配对象开头部分，如果匹配不到就会出错。匹配完成后返回的是一个re.MATCH的对象，需要调用group()才能把这个对象的内容打出来，返回类型是str # text ='hello' # he_match = re.ma.
2021-01-03 13:22:55
160
原创 scrapy笔记
##自学视频中的学习笔记记录## #Scrapy笔记 ##安装scrapy框架 1、安装 scrapy：通过pip install scrapy 即可安装 2】如果是再windows 下，还需要安装pypiwin32，如果不安装，后面运行scrapy项目的时候就会出现报错：pip install pypiwin32 3、如果是再ubuntu 系统下，还需要安装一下第三方库，sudo apt-get install python-dev python-pip libxml2-dev libxs.
2020-12-26 16:51:48
265
原创 python数组和字符串之间的转换
python数组和字符串之间的转换 字符串转数组 str = '1,2,3' arr = str.split(',') 数组转字符串 arr = ['a','b'] str = ','.join(arr) arr = [1,2,3] str = ','.join(str(i) for i in b)
2020-11-27 09:43:29
4380
原创 pyQT5 学习笔记
QtCore:包含了核心的非GUI功能。此模块用于处理时间、文件和目录、各种数据类型、流、URL、MIME类型、线程或进程。 QtGui包含类窗口系统集成、事件处理、二维图形、基本成像、字体和文本。 qtwidgets模块包含创造经典桌面风格的用户界面提供了一套UI元素的类。 QtMultimedia包含的类来处理多媒体内容和API来访问相机和收音机的功能。 Qtbluetooth模块包含类的扫描设备和连接并与他们互动。描述模块包含了网络编程的类。这些类便于TCP和IP和UDP客户端和服务器的编...
2020-11-05 14:18:58
428
python获取【即时新闻】源码.py
2021-05-09
US_phone_num小工具.rar
2021-07-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人