- 博客(37)
- 收藏
- 关注
RSS订阅原创 python基础爬虫——单线程多线程爬取图片
困于心衡于虑而后作今天的学习目标是：单线程与多线程爬取网页图片python单线程：# 指定一个网站，可以爬取这个网站中的所有的图像文件，同时把这些文件保存到程序所在文件夹的images子文件夹中# 首先设计一个单线程爬取程序，这个程序会因网站的某个图像下载过程而效率缓慢# 此外设计一个多线程爬取程序，在多线程程序中如果一个图像下载缓慢，# 那么也就是爬取它的那个线程缓慢，而不影响其他的爬取过程# 单线程爬取图像程序from bs4 import BeautifulSoupfrom bs
2021-02-05 15:11:02
508
1
原创 python基础爬虫——多线程_线程等待和线程锁
困于心衡于虑而后作今天的学习目标是：python的线程等待和线程锁1.线程等待线程等待在多线程的程序中往往一个线程（例如主线程）要等待其他线程执行完毕才继续执行，这可以用join函数，使用的方法是：线程对象.join()在一个线程代码中执行这条语句，当前的线程就会停止执行，一直等到指定的线程对象的线程执行完毕后才继续执行即这条语句启动阻塞等待的作用# 主线程启动子线程等待结束后再执行import threadingimport timeimport randomdef re
2021-02-02 14:40:00
550
原创 python基础爬虫——多线程_前台线程与后台线程
困于心衡于虑而后作这次的学习目标是：多线程的基本使用，明确前台线程与后台线程线程类似于同时执行多个不同的程序，多线程运行有如下优点：1.使用线程可以把占据长时间的程序中的任务放在后台去处理2.程序的运行速度可以加快3.在一些等待的任务实现上:用户输入、文件读写和网络收发数据等，线程比较实用在这种情况下，我们可以释放一些珍贵的资源如内存占用等等4.每个线程都有自己的一组CPU寄存器，称为线程的上下文，该上下文反应了线程上次运行该线程的cpu寄存器的状态5.在其他线程正在运行时，该线程可以暂时搁
2021-02-01 15:00:21
468
原创 python基础爬虫——使用深度优先和广度优先爬取图结构网站
困于心衡于虑而后作今天要学习的目标是：深度优先爬取复杂网站，图结构网站代码及解释如下：from bs4 import BeautifulSoupimport urllib.requestclass Stack: def __init__(self): self.st = [] def pop(self): return self.st.pop() def push(self, obj): self.st.append(
2021-02-01 09:25:29
1266
2
原创 python基础爬虫——爬取复杂网页及优化
困于心衡于虑而后作今天的学习目标是：复杂网站的爬取1.首先还是设计网站和服务器flask服务器和之前的一样服务器代码这里网页有点不一样books.htm文件<h3>计算机</h3><ul> <li><a href="database.htm">数据库</a></li> <li><a href="program.htm">程序设计</a></li>
2021-01-30 15:01:22
534
原创 python基础爬虫——深度优先与广度优先
困于心衡于虑而后作今天的学习目标是：深度优先与广度优先爬取数据深度优先与广度优先示意图：1.深度优先使用栈来完成# 如果我们不适用递归程序实现深度优先的顺序爬取网页数据，也可以设计一个栈stack来完成# 在python中实现一个栈很容易，python中的list就是一个栈，很容易设计一个自己的stack栈import urllib.requestfrom bs4 import BeautifulSoupclass Stack: def __init__(self):
2021-01-30 09:57:09
1105
2
原创 python基础爬虫——网站树的爬取路径_服务器和递归爬虫
困于心衡于虑而后作不能放弃学习今天的学习目标是：网站树的爬取路径1.首先还是搭建服务器搭建服务器之前，需要写一些htm代码books.htm文件<h3>计算机</h3><ul> <li><a href="database.htm">数据库</a></li> <li><a href="program.htm">程序设计</a></li> &l
2021-01-28 09:14:53
867
1
原创 python基础爬虫——爬取天气预报信息
困于心衡于虑而后作今天的学习目标是：编写爬虫程序爬取天气预报信息并保存到数据库技术实现：1、 爬取普通的网页信息，查看浏览器的user-agnet2、 编写sql语句，创建相应的数据表，并编写存储数据的语句3、 实现爬取中国天气网的信息（由于地区限制，现在爬取不了天气，之后将在其他网站上实现）1.python代码爬取网页信息并显示首先查看自己浏览器的user-agent打开检查，点击网络network，然后重新加载自己的页面，就会出现如下界面：随便点击一项进去之后，就可以看见返回信息
2021-01-28 08:14:59
6266
原创 python基础爬虫——BeautifulSoup使用css语法查找元素
人生不能放弃，就算是停电很不幸，公司停电，刚刚打的代码全没有了但还是要面对现实加油!!!,不以物喜不以己悲今天的学习目标是：beautifulsoup中使用css语法元素使用css语法查找元素，需要使用css语法规则使用方法tag.select(css)其返回值为一个列表，即使只有一个值tag是一个bs4.element.Tag对象，即HTML中的一个element节点元素，select是查找方法css是类似于css语法的一个字符串soup.select(‘a’)查找文档中所有的元素节
2021-01-24 15:37:18
1472
原创 python获取文件子目录
本次复现的是：使用python实现获取文件夹的子目录，并保存到txt文件设计要求：需要带qt界面显示,给出文件夹路径能够自动获取子目录，并保存到本地文件夹pyqt5安装：pyqt5与flask安装1.pyqt界面设计将代码保存为untitled.py# -*- coding: utf-8 -*-# Form implementation generated from reading ui file 'untitled.ui'## Created by: PyQt5 UI code gene
2021-01-22 08:57:22
1445
1
原创 python随机选人程序
今天要复现的是python随机选人程序要求：需要带qt界面，点击执行后，能够在电脑上显示那些人被选中本次设计采用pyqt进行设计安装方法：pyqt5与flask安装1.python代码界面设计源码注意将文件保存为untitled.py，其他的也可以，但在驱动程序调用时需要注意import的这个文件的名字# -*- coding: utf-8 -*-# Form implementation generated from reading ui file 'untitled.ui'## C
2021-01-22 08:38:40
4087
原创 python基础爬虫——BeautifulSoup查找元素
困于下衡于虑而后作人生不能放弃今天的学习目标是：beautiful soup 查找元素总共有两个函数find_all和findfind_all返回列表，find返回查找的第一个值1.python代码——find的使用from bs4 import BeautifulSoup# find_all or finddoc = '''<!DOCTYPE html><html lang="en"><head> <meta charset="UT
2021-01-22 08:15:56
3565
原创 python基础爬虫——BeautifulSoup自动补齐文档
人生不能放弃困于心衡于虑而后作今天的学习目标是：BeautifulSoup库的自动补齐功能python代码from bs4 import BeautifulSoupdoc = '''<title>有缺失元素的html文档</title><div><a href='one.html'>one</a><p><a href='two.html'>two</a></div>'''s
2021-01-20 14:56:34
390
原创 python基础爬虫——爬取html表格,带服务器
不以物喜不以己悲人生不能放弃今天的学习目标是：爬取学生信息1.服务器程序先写文本数据例子，将文本数据students.txt放入当前文件夹No,Name,Gender,Age1001,张三,男,201002,李四,女,191001,张三,男,201002,李四,女,191001,张三,男,201002,李四,女,191001,张三,男,201002,李四,女,191001,张三,男,201002,李四,女,191001,张三,男,201002,李四,女,19然后搭建服务
2021-01-17 08:14:41
511
原创 python基础爬虫——正则表达式
不以物喜不以己悲坚持不能放弃今天的学习目标是：正则表达式的使用# 1.字符‘\d’匹配0-9之间的一个数值，遇到的第一个# import re# reg = r'\d'# m = re.search(reg, "abc123cd45611")# print(m)# 2.字符‘+’重复面前一个匹配字符一次或者多次# import re## reg = r'c\d+'# m = re.search(reg, "abc123c5611")# print(m)# 3.字符‘*’重
2021-01-15 14:24:14
154
原创 python基础flask——学生信息管理程序
简单的事情重复做，重复做的事情坚持做，坚持做的事情开心的做今天的学习目标是：使用flask搭建学生管理系统，爬虫程序进行管理（增删改查）1.首先安装数据库pip install gsqlite3可以使用import sqlite3来引入这个库2.flask服务器程序import sqlite3import flaskimport jsonapp = flask.Flask(__name__)class StudentDB: def openDB(self):
2021-01-14 15:50:45
1762
原创 python基础flask——爬虫上传文件
不以物喜不以己悲人生不能放弃今天的学习目标是：爬虫上传文件到flask服务器1.客户端程序import urllibimport urllib.requestimport osurl = 'http://127.0.0.1:5000'fileName = 'fe.png'try: fobj = open(fileName, 'rb')#读出数据 data = fobj.read()#存到data里面 fobj.close() headers = {'con
2021-01-13 14:28:17
249
原创 python基础flask——爬虫在flask服务器下载图片
困于心衡于虑而后作这次的学习目标是：搭建flask服务器，并使用爬虫下载1.先写爬虫import urllib.parseimport urllib.requesturl = 'http://127.0.0.1:5000'try: html = urllib.request.urlopen(url) html = html.read() fileName = html.decode() # 先获取一次文件名 print("准备下载：" + fileName)
2021-01-11 12:59:47
533
3
原创 python基础flask——爬虫与flask传递数据_post方法
困于心衡于虑而后作今天的学习目标是：flask与爬虫post方法互传数据1.首先写爬虫模块import urllib.requesturl = "http://127.0.0.1:5000"p = "广东"c = "深圳"n = "困于心衡于虑而后作"p = urllib.parse.quote(p)c = urllib.parse.quote(c)n = urllib.parse.quote(n) # 将数据编码pc = "province=" + p + "&city
2021-01-11 09:14:17
1861
1
原创 python基础爬虫——Scrapy快速入门
困于心衡于虑而后作今天的学习目标是，scrapy的基本使用经过之前的学习，对爬虫有了基本的认识写小型爬虫的常用的基本库有urllibrequests常用爬取网站的爬虫框架scrapy当然还有信息提取rebeautiful soupcss selectorlxmlxpath selector最后的就是数据库了，数据库暂时没有接触到，暂时爬取的文件都是直接写入txt文件的中...
2021-01-11 08:46:42
352
原创 python基础flask——爬虫与flask传递数据_get方法
困于心衡于虑而后作今天的学习目标是，学习爬虫与flask服务器传递数据1.先学服务器获取数据import flaskapp = flask.Flask(__name__)@app.route('/')def index(): p = flask.request.args.get('province') c = flask.request.args.get('city') print(p, c) return str(p)+','+str(c)if __
2021-01-09 20:28:35
476
1
原创 python基础flask——web表单
不以物喜不以己悲今天学习的目标是flask的表单处理Flask-WTF扩展可以对web表单进行处理1.首先是安装pip install falsk-wtf2.表单flask-wtf能保护表单免受跨站请求CSRF攻击，设置密钥生成令牌对其进行保护代码：from flask import requestfrom flask import Flaskapp = Flask(__name__)app.config['secret_key'] = 'hard to guess string'
2021-01-08 08:56:14
163
原创 python基础flask——bootstrap模板
困于下衡于虑而后作今天的学习目标是bootstrap模板的使用模板能减少很多工作量，想搭建网站，模板必不可少，可以节约时间来研究逻辑部分首先是官方文档，boostrap文档打开网页后，先下载实例1.使用bootstrap模板下载完成之后，打开第一个示例的html，将这个html复制到项目文件夹的templates中输入如下代码：from flask_bootstrap import Bootstrapfrom flask import Flaskfrom flask import re
2021-01-07 13:43:36
1500
原创 python基础flask——模板使用
困于心恒于虑而后作每天学习一点点，不能放弃今天的学习目标是：flask的模板使用在此期间，看书学习确实有很多问题，首先是环境问题，其次就是按着书上的做但是程序运行出错，总是不知道为什么会出现这样，但终归是解决了一、jinja2模板使用1.首先是创建文件夹文件夹很关键，找了很多问题，仔细检查程序，查找资料，最后发现没有文件夹，导致程序运行出错首先在当前项目下创建文件夹templates然后创建html文件hello.html内容如下：<h1>hello word!!!</
2021-01-06 14:53:44
576
原创 python基础flask——爬虫与flask联调
困于心衡于虑而后作今天的学习目标是，实现flask与爬虫联调，自己写网页服务器，然后写爬虫进行爬取内容首先是先写flask服务1.创建html文件首先在当前文件夹内创建helloword.html<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>hello word</title></head><bo
2021-01-06 08:38:05
748
1
原创 python基础flask——快速入门
困于心衡于虑而后作想要对爬虫有全貌的认识，就必须对web有明确的认识，明确自己要爬的什么东西，先写后爬，这才是练习爬虫的最好方式Flask在网络上也有很多介绍，这里就不过多的介绍了。有兴趣的可以百度一下。这里学习Flask，是为了之后学习爬虫有一定的基础本次学习的是一本书，如下图：这本书我觉得写的是相当可以的，用一个博客搭建实例，带我们走进Flask开发的大门今天是学习这本书的第一天，希望能坚持下去，加油开头依旧是环境搭建pip install flask安装完成之后可以配置一下调试的默
2021-01-04 15:02:31
258
3
原创 python基础学习与编程练习笔记（7）——模块化设计方法，体育竞技分析，安装脚本
今天的学习目标：模块化设计方法相对而言，从大学开始接触C编程，除了算法，我觉得最重要的就是设计方法了，不管是类与对象，还是结构化编程，设计方法如果不明确，设计的程序结构混乱，也许按照随意设计的方法可以实现程序的功能，简单的程序尚可这样做，但是，如果一旦程序有上万行代码，这样的程序要维护，修改其源代码，就会非常的困难，指针问题，内存问题，调用问题等等都会出现程序结构图，自顶向下应用开发的四个步骤是必不可少的1.产品定义，不仅仅需要考虑基本功能，还要考虑实用性和商用性2.系统架构，明确应用所需要的技
2021-01-04 09:49:38
450
2
原创 python基础学习与编程练习笔记（6）——自动轨迹绘制，词云制作
困于心衡于虑而后作今天的学习目标是：文件操作1.自动轨迹绘制data.txt#data.txt300,0,144,1,0,0300,0,144,0,1,0300,0,144,0,0,1300,0,144,1,1,0300,0,108,0,1,1184,0,72,1,0,1184,0,72,0,0,0184,0,72,0,0,0184,0,72,0,0,0184,1,72,1,0,1184,1,72,0,0,0184,1,72,0,0,0184,1,72,0,0,0184,
2021-01-03 20:49:13
230
1
原创 python环境配置----flask和pyqt5
困于心衡于虑而后作今天把Anaconda和pycharm卸载了一下，准备重新装一下环境，为新的学习打下基础。这里重新在pycharm里面配置一下pyqt5和爬虫环境，也是目前在学习的环境首先还是下载pycharm，目前开发，社区版本已经够用，暂时不配置Anaconda。下载完毕后直接安装，记得加环境变量和加桌面图标。这次只配置Flask和pyqt5，首先是创建虚拟环境，python版本现在已经是3.9了，创建完毕后添加Flask和pyqt5和pyqt5-tools，如下图1.Flask运行默认
2021-01-02 20:51:27
2402
1
原创 python文本数据处理——将数据处理成小程序数据库操作代码
困于心,衡于虑,而后作；征于色，发于声，而后喻。内心忧困，思绪阻塞，然后才能有所作为。心绪显露在脸色上，表达在声音中，然后才能被人了解。问题的背景是，在写小程序代码的时候，突然发现小程序数据库操作添加数据很麻烦，问题在哪里呢？因为部门人数几千人，一个个的加是很不现实的，必须使用小程序的数据库操作add方法，但是编辑代码也有几千行，问题就出在这里，如何获得这几千行代码将人员信息导入，从而最终实现小程序的登陆。首先是将excel数据处理成txt格式，而且只要姓名和工号，读入excel，写入txt，这段代码
2021-01-02 09:56:57
353
原创 python基础学习与编程练习笔记（5）——基本统计值计算，词频统计
今天的学习目标是组合数据类型这个是爬虫的基础，元组（基本等价于C/C++中的数组）和字典在爬虫中用的非常多1.基本统计值计算def getNum(): # 获取用户不定长度的输入 nums = [] # 数组缓存 iNumStr = input("请输入数字(回车退出): ") while iNumStr != "": # 不等于回车的时候就继续输入 nums.append(eval(iNumStr)) iNumStr = input("请
2021-01-01 21:13:47
320
原创 python基础学习与编程练习笔记（4）——数码管，科赫曲线，递归求阶乘，求字符翻转，求斐波拉契数列，求汉诺塔问题
今天要学习的是，函数基本使用话不多说，眼里只有代码1.七段数码管绘制有两段程序，解读程序比较关键的地方，就是画图的路线。其余的没什么大的问题。先将结果20201231献给大家，头一次没有在家过年，也是头一次在国外过年。给出画图路线图代码1：import turtledef drawLine(draw): #绘制单段数码管 turtle.pendown() if draw else turtle.penup()#特殊的if，一般不这样写 turtle.fd(40)
2020-12-31 21:02:35
207
1
原创 python基础学习与编程练习笔记（3）——肥胖指标，圆周率
困于心衡于虑而后作，征于色发于声而后喻这是我很喜欢的一句话，人生之路是长跑之路，不断突破才能激发自己的力量，人生不能放弃。1.身体质量指标BMI计算BMI分为两种，国内的和国际上的，一点区别就是国内严格一点，国际松一点。BMI计算一般为体重比上身高的平方，公式：bmi = weight / pow(height, 2)height, weight = eval(input("请输入身高(米)和体重(公斤)[逗号隔开]: "))bmi = weight / pow(height, 2)print
2020-12-30 19:18:06
357
3
原创 python基础学习与编程练习笔记（2）——温度，turtle，计算工作日努力，进度条
程序员眼里只有代码，从代码开始复习，走起，生为蝼蚁，应立鸿鹄之志,命如纸薄，当有不屈之心，人生不能放弃首先开始学习的是Python入门设计，课程是北京理工大学老师讲的python课程，这是第四遍，同样的，和以前一样，还是有些地方弄不懂。1.温度转换程序TempStr = input("请输入带有符号的温度值: ")if TempStr[-1] in ['F', 'f']: C = (eval(TempStr[0:-1]) - 32)/1.8 print("转换后的温度是{:.2f}C
2020-12-29 20:19:17
807
1
原创 wx小程序与python设计部门级应用（2）
今天的目标是，实现小程序的主界面，暂时不加JavaScript代码话不多说，直接开干，为更好的给大家讲解，特次新建一个项目，重新开始小程序设计1.首先是新建项目新建项目需要注意的是，并不是直接使用云开发，小白也可以就此上手。项目名称与目录不需要细讲，选择小程序也没问题，驱动语言选JavaScript，讲解重点在于AppIDAppID是小程序的唯一标识，当然还有密码（暂时不用，先不讲解），当提交源代码的时候，就需要AppID作为您上传的凭证。如何获取AppID呢进入微信公众平台后，扫码进行登
2020-12-29 14:24:16
157
原创 python基础学习与编程练习笔记（1）——前言
python基础学习与编程练习笔记（1）——前言之前在学校，做实验报告是练习编程的方式，出了学校，一直是手写来做笔记的，纸质的笔记容易丢，但也有优点，纸质笔记便于复习，在学习的时候，手写也能加深自己的印象。电子笔记做笔记的时候容易打断思路，没有纸质那么方便。但终归做笔记用来复习，学而时习之不亦说乎。每次开启一段新的旅程，总想到文都教育英语老师谭剑波的话，一路向前，莫问前程。以及现在的上级领导的话，你就去做，不管自己会与不会，你做就行了。不管会与不会，只有当你真正的上手去做的时候，才能真正体会，一路向前，
2020-12-28 09:28:50
120
原创 wx小程序与python设计部门级应用（1）
wx小程序与python设计部门级应用（1）需要达到的效果：电脑上有界面能对数据库进行操作（准备用QT写）小程序端能够显示实时更新数据（小程序端就用wx官方的编译软件）小程序需要有登陆功能（小程序云开发）本次设计使用了以下技术：1.wx小程序设计2.python部分爬虫技术（get与post比较常用，暂时没有用到框架）2.QT界面设计（这个python有官方的qtdesigner设计工具）在写一个应用之前，应该明确我们需要干什么（过程），需要用到什么东西（工具），最后的目标是什么（结果）
2020-12-28 07:59:10
286
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人