Python使用实例
Fo*(Bi)
正在学习编程的“小学生”,啥也不会的技术渣。
展开
-
图书馆的藏书分类代码
生成索书号、馆藏地、价格等总表import xlrdimport xlsxwriterimport timeimport datetimeimport copydef wt_xls(n_list): n=n_list.split(",") return ndef poplist(li): new_list=li.copy() a="" for _ in range(6): del new_list[0] for _ in rang原创 2022-01-19 10:56:16 · 711 阅读 · 0 评论 -
Python爬虫项目实例——多协程爬取【薄荷网】的食物热量
爬虫网站:http://www.boohee.com/food/group爬的信息:食物的名称及热量代码:import geventfrom gevent.queue import Queuefrom gevent import monkeymonkey.patch_all()import requests, bs4, csvwork = Queue()url_1 = 'http://www.boohee.com/food/group/{type}?page={page}'for x原创 2020-08-31 16:52:07 · 1828 阅读 · 0 评论 -
Python爬虫项目实例——爬取【乐彩网】双色球历史获奖红蓝球数据
爬取【乐彩网】双色球历史获奖红蓝球数据最终存到excel中爬取数据要求为:代码如下:import requestsfrom lxml.html import etreeimport recookies = { 'PHPSESSID': 'p9hhd41uma2qtffng5vu1c8pa4', 'pgv_pvi': '9924044800', 'pgv_si': 's9373211648',}headers = { 'Connection': 'keep-alive', '原创 2020-08-31 09:00:49 · 631 阅读 · 0 评论 -
Python项目实例——多线程爬【药房网】的相关信息
爬药房网import requestsfrom lxml.html import etreeimport urllib.parseimport timeimport reimport csvimport datetimeimport threadingimport mathcookies = { 'real_ip': '125.120.62.56', '__jsluid_s': '59165490edcd8dd747b56e5ee043f5ff', 'UM_di原创 2020-08-27 13:37:23 · 297 阅读 · 0 评论 -
Python项目实例——用代理IP爬取1688商品
拿取商品信息的名称:id = '自增ID'task_id = '任务ID'platform = '平台'search_key = '搜索词'goods_id = '商品ID'goods_title = '商品标题'goods_url = '商品链接'goods_brand = '商品品牌'goods_now_price = '商品优惠价'goods_old_price = '商品原价'month_sale_num = '30天销量'discount_info = '优惠券信息'pl原创 2020-08-19 12:19:00 · 451 阅读 · 0 评论 -
Python项目实例——selenium自动化项目升级版——定时操作
循环_file:from selenium import webdriverimport timeimport randomimport requestsfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWaitfrom selenium.webdriver.common.by import Byimport原创 2020-08-06 09:47:42 · 289 阅读 · 0 评论 -
Python爬虫项目实例——爬取上海市历史天气数据
爬天气的网站为2345天气王URL:http://tianqi.2345.com/历史天气:http://tianqi.2345.com/wea_history/58465.htm58465是城市的ID该项目主要是为了获取上海市的历史天气数据,字段包含日期、最低气温、最高气温、风向、风力、天气状况、空气质量指标值、空气质量等级和空气质量说明,所有数据一共包含2544天的记录。下面就详细写出整个爬虫的代码:# 导入第三方包import requests #用于URL的请求和数据的获取imp原创 2020-07-27 08:14:47 · 2711 阅读 · 7 评论 -
用python在网页上爬【微博】用户发的微博(json解析)
代码中的一些知识:Python urlencode 编码和url拼接【python】python中的enumerate()函数【笔记】代码如下:import requestsfrom urllib.parse import urlencodefrom pyquery import PyQuery as pqbase_url = 'https://m.weibo.cn/api/container/getIndex?'headers = { 'Host': 'm.weibo.cn',原创 2020-07-21 14:47:52 · 1778 阅读 · 0 评论 -
python项目实例——登录淘宝拿总页数
import requestsimport reimport tracebackimport cchardetclass taobao_test(): def __init__(self): self.headers = {'authority': 's.taobao.com', 'cache-control': 'max-age=0', 'upgrade-insecure-requests': '1', 'user-agent': 'Mozilla/5.0 (Windows NT原创 2020-07-19 15:40:07 · 509 阅读 · 0 评论 -
Python的selenium自动化项目实例
一、项目1.0在百度搜索中输入关键字模拟人自动由上向下滑动,寻找目标网页一页一页的去翻(第一页没找到就滑到底部点击下一页)找到目标网页就点击进去实现代码如下:from selenium import webdriverimport timedef main(): searchBox = driver.find_element_by_id("kw") searchBox.send_keys('鸡群') time.sleep(2) button = driver.find_elemen原创 2020-07-16 16:57:50 · 788 阅读 · 0 评论 -
python爬虫实例——session自动登录并爬取相关内容
1、理解下 session (会话)所谓的会话,你可以理解成我们用浏览器上网,到关闭浏览器的这一过程。session是会话过程中,服务器用来记录特定用户会话的信息。比如今天双11,你淘宝网浏览了哪些商品,购物出里放了多少件物品,这些记录都会被保存在session中。session 和 cookies 有什么关系呢?session和cookies的关系还非常密切——cookies中存储着session的编码信息,session中又存储了cookies的信息。当浏览器第一次访问购物网页时,服务器会返回原创 2020-07-13 19:35:36 · 1506 阅读 · 0 评论 -
python爬虫最难爬取网站——天猫淘宝,多页爬取遭反爬IP被禁。求大佬赐教。
爬取任务是:爬取所在地为新疆的买新疆特产的店铺代码如下:import requestsfrom lxml.html import etreeimport timeimport csvimport jsonnum_url = 'https://list.tmall.com/search_product.htm?&s={}&q=%D0%C2%BD%AE&style=w'headers = { 'authority': 'list.tmall.com',原创 2020-07-09 19:17:06 · 4941 阅读 · 6 评论 -
Python爬取【京东商城】商品信息实例(末尾有关于价格的爬取)
以爬取商品类别——‘笔记本电脑’为例代码如下:import requestsfrom lxml.html import etreeheaders = { 'authority': 'search.jd.com', 'accept': '*/*', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Saf原创 2020-07-07 09:46:59 · 1056 阅读 · 1 评论 -
用Python定时每日爬取天气并把结果发送到邮箱项目实例
用Python定时执行一个程序,并且完成了一个每日爬取天气并把结果发送到邮箱的程序。import requestsimport smtplibimport scheduleimport timefrom bs4 import BeautifulSoupfrom email.mime.text import MIMETextfrom email.header import Headeraccount = input('请输入你的邮箱:')password = input('请输入你的密码:原创 2020-07-04 20:56:05 · 1656 阅读 · 0 评论 -
用Python的selenium库模仿人点击相关网页刷阅读量实例
需要刷的文章列表如下:这里的代码要用到selenium。selenium是什么呢?它是一个强大的Python库。它可以做什么呢?它可以用几行代码,控制浏览器,做出自动打开、输入、点击等操作,就像是有一个真正的用户在操作一样。代码如下:import xlrdimport timeimport requestsfrom selenium import webdriverdef read_excel(): workbook = xlrd.open_workbook("C:/Users原创 2020-07-03 10:44:42 · 656 阅读 · 0 评论 -
用Python将多个相同性质Excel工作表整合到一个工作表(.xlsx)中实例
基础知识:Python爬虫笔记——存储数据的基础知识(Csv、Excel)项目已经拥有100个如下表格:每个表中的内容如下:【Target】:将这100个表格整合到一个汇总表中去。代码如下:import requestsimport openpyxlimport xlrdimport xlwtwb=openpyxl.Workbook() #创建工作薄sheet=wb.active #获取工作薄的活动表sheet['A1'] ='排名' #加表头,给A1单元格赋原创 2020-07-02 14:05:30 · 1437 阅读 · 0 评论 -
Python爬虫爬取淘宝、天猫某商品页面相关信息实例
URL=“https://detail.tmall.com/item.htm?spm=a230r.1.14.8.4a1a115fb1rHn5&id=617806269122&cm_id=140105335569ed55e27b&abbucket=3&sku_properties=154362399:30930041”【target】:爬取:商品id、商品标题、商品主图地址、商品价格、店铺名称、掌柜名称、店铺地址。代码如下:import refrom lxml im.原创 2020-06-30 17:32:31 · 7626 阅读 · 7 评论 -
python爬取HTML中属性的值的实例(loading...)
from parsel import Selectorimport requestsurl = "https://news.baidu.com/"body = requests.get(url).textselector = Selector(text=body)title = selector.xpath('.//title/text()').extract()[0] #有个空列表,先添加到列表的第0个元素,然后extract提取出来comment = selector.xpath('..原创 2020-06-29 11:09:41 · 675 阅读 · 0 评论 -
Python爬取【下厨房】网页菜名、所需材料和菜名所对应详情页的的URL实例
Target:菜名、所需材料、和菜名所对应的详情页URL。思路一:我们先去爬取所有的最小父级标签,然后针对每一个父级标签,想办法提取里面的菜名、URL、食材。思路二:我们分别提取所有的菜名、所有的URL、所有的食材。然后让菜名、URL、食材给一一对应起来(这并不复杂,第0个菜名,对应第0个URL,对应第0组食材,按顺序走即可)。思路一:import requests# 引用requests库from bs4 import BeautifulSoup# 引用BeautifulSoup库res原创 2020-06-24 17:30:09 · 1593 阅读 · 3 评论 -
Python自动翻页爬取网页名称、评论等信息实例
一、已知评论页数,自动翻页爬取import requestsfrom bs4 import BeautifulSouppage = int(input('请输入评论总页数:'))+1 #整型for i in range(1,page): url = 'https://wordpress-edu-3autumn.localprod.oc.forchange.cn/all-about-the-future_04/comment-page-'+str(i)+'/#comments' pr原创 2020-06-23 12:29:02 · 1338 阅读 · 0 评论 -
Spyder崩了的拯救经验
我自己的解决方法:1、进入C:\Users\ASUS2、删除文件夹 .spyder-py33、重新打开Spyder (anaconda),就可以正常使用了原创 2020-06-22 23:06:27 · 857 阅读 · 0 评论 -
python爬取网页源代码并存储到本地实例
这里要用到urllib库所以首先要安装库1、windows+r2、cmd3、pip install urllib4、运行下面代码5、存储完成后,就可以在没有联网的情况下,也能在本地打开该网页import urllib.requestdef getHtml(url): h = urllib.request.urlopen(url).read() return h def saveHtml(file_name,file_content): # 注意windows文原创 2020-06-22 12:02:38 · 2789 阅读 · 0 评论