python多线程实现访问页面_python实现多线程爬取酒店网页动态加载信息

最新推荐文章于 2023-06-01 16:39:02 发布
最新推荐文章于 2023-06-01 16:39:02 发布
阅读量185 收藏
点赞数
文章标签： python多线程实现访问页面

最近学习threading库，接触线程部分相关知识。题示 , 保证同机器且爬取深度相同，单线程需要33.72s，多线程仅需1.78s。可见多开线程对于提高I/O密集爬虫的效率，行之有效。

声明：

0.本代码仅限学习交流使用

1.转载附作者ID及原作品链接

2.自觉遵守协议 维护网站权益

单线程全代码 修改path request_header可用：

import re

import requests

import json

import time

def get_detail(url,header,form_data):

response=requests.post(url,headers=header,data=form_data)

response.encoding=response.apparent_encoding

dictionary=json.loads(response.text)

#json格式转换

text=dictionary['value']['hotelListHtml']

#字典取值

hotel_list=text.split('

')

#切片

dict_list=[]

for each_hotel in hotel_list:

try:

name=re.findall(r'class="info_cn">(.*?)',each_hotel)[0]

price=re.findall(r'(.*?)',each_hotel)[0]

score=re.findall(r'data-score="(.*?)"',each_hotel)[0]

new_dict={}

new_dict["name"]=name

new_dict["price"]=price

new_dict["score"]=score

dict_list.append(new_dict)

except:

continue

return dict_list

def save(detail_list,path):

file=open(path,"a")

for each_detail in detail_list:

name=each_detail["name"]

price=each_detail["price"]

score=each_detail["score"]

file.write(name+","+price+","+score+"\n")

file.close()

#保存

def main():

header={

'Accept':'application/json, text/javascript, */*; q=0.01',

'Accept-Encoding':'gzip, deflate',

'Accept-Language':'zh-CN,zh;q=0.9,ja;q=0.8,en;q=0.7',

'Connection':'keep-alive',

'Content-Length':'2273',

'Content-Type':'application/x-www-form-urlencoded; charset=UTF-8',

'Cookie':'CookieGuid=2cbbf4d7-ed57-43f8-8842-4a74ad939a46; H5CookieId=db6aea90-999f-4be0-9930-7cfcea066214; _fid=2cbbf4d7-ed57-43f8-8842-4a74ad939a46; CitySearchHistory=0101%23%E5%8C%97%E4%BA%AC%23beijing%23; firsttime=1583163644996; SessionGuid=abe14edf-638e-44e5-a26d-94807cbf9e7a; Esid=038b4b4a-fd3a-4c88-bb54-fe60f6a9bf12; com.eLong.CommonService.OrderFromCookieInfo=Orderfromtype=1&Parentid=1000&Status=1&Cookiesdays=30&Coefficient=0.0&Pkid=1105&Priority=9001&Isusefparam=0&Makecomefrom=0&Savecookies=0; fv=pcweb; anti_token=4D71FDF2-2357-461A-984C-56958AE1A7CE; ShHotel=InDate=2020-03-03&CityID=0101&CityNameEN=beijing&CityNameCN=%E5%8C%97%E4%BA%AC&OutDate=2020-03-04&CityName=%E5%8C%97%E4%BA%AC; ext_param=bns%3D4%26ct%3D3; s_cc=true; __tctmc=0.215881358; __tctmc=20377580.26050747; __tctmd=20377580.254392154; __tctma=20377580.1583163637156064.1583163637230.1583163637230.1583200239719.2; __tctmu=20377580.0.0; __tctmz=20377580.1583200239719.2.1.utmccn=(referral)|utmcsr=bing.com|utmcct=|utmcmd=referral; longKey=1583163637156064; __tctrack=0; __tctmd=0.1; lasttime=1583202216497; s_visit=1; User-Ref-SessionId=78bd-e80d-13ad-2b0a-92aa-532a; trace_extend={"deviceid":"2cbbf4d7-ed57-43f8-8842-4a74ad939a46","appid":"6","userid":"2cbbf4d7-ed57-43f8-8842-4a74ad939a46","orderfromid":1105,"sessionid":"78bd-e80d-13ad-2b0a-92aa-532a","pvid":"c1b8aaeb"}; __tctmb=0.1284443720926117.1583203761350.1583203761350.1; s_sq=elongcom%3D%2526pid%253Dhotel.elong.com%25252Fbeijing%2526pidt%253D1%2526oid%253Djavascript%25253Avoid(0)%2526ot%253DA; __tccgd=0.0; JSESSIONID=1F53BCB446035ADE53A945505FBF2D47',

'Host':'hotel.elong.com',

'Origin':'http://hotel.elong.com',

'Referer':'http://hotel.elong.com/beijing/',

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36',

'X-Requested-With':'XMLHttpRequest'

}

form_data={

'code':'7611836',

'listRequest.areaID':'',

'listRequest.bedLargeTypes':'',

'listRequest.bookingChannel':'1',

'listRequest.breakfasts':'0',

'listRequest.cancelFree':'false',

'listRequest.cardNo':'192928',

'listRequest.checkInDate':'2020-03-03 00:00:00',

'listRequest.checkOutDate':'2020-03-04 00:00:00',

'listRequest.cityID':'0101',

'listRequest.cityName':'北京',

'listRequest.crawledFlag':'0',

'listRequest.customLevel':'11',

'listRequest.discountIds':'',

'listRequest.distance':'20000',

'listRequest.endLat':'0',

'listRequest.endLng':'0',

'listRequest.epcCreateOrderGuideVersion':'C',

'listRequest.facilityIds':'',

'listRequest.guokaoFlag':'false',

'listRequest.highPrice':'0',

'listRequest.hotelBrandIDs':'',

'listRequest.hotelIDs':'',

'listRequest.interceptAction':'0',

'listRequest.isAdvanceSave':'false',

'listRequest.isAfterCouponPrice':'true',

'listRequest.isCoupon':'false',

'listRequest.isDebug':'false',

'listRequest.isLimitTime':'false',

'listRequest.isLogin':'false',

'listRequest.isMobileOnly':'true',

'listRequest.isNeed5Discount':'true',

'listRequest.isNeedNotContractedHotel':'false',

'listRequest.isNeedSimilarPrice':'false',

'listRequest.isReturnNoRoomHotel':'true',

'listRequest.isStaySave':'false',

'listRequest.isTrace':'false',

'listRequest.isUnionSite':'false',

'listRequest.isnstantConfirm':'false',

'listRequest.keywords':'',

'listRequest.keywordsType':'0',

'listRequest.language':'cn',

'listRequest.lat':'39.9059093',

'listRequest.listType':'0',

'listRequest.lng':'116.3913489',

'listRequest.lowPrice':'0',

'listRequest.orderFromID':'1105',

'listRequest.pageIndex':'1',

'listRequest.pageSize':'20',

'listRequest.payMethod':'0',

'listRequest.personOfRoom':'0',

'listRequest.poiId':'0',

'listRequest.poiName':'',

'listRequest.productTypes':'1,6,26',

'listRequest.promotionChannelCode':'0000',

'listRequest.promotionSwitch':'-1',

'listRequest.proxyID':'ZD',

'listRequest.rankType':'0',

'listRequest.returnFilterItem':'true',

'listRequest.sectionId':'',

'listRequest.sellChannel':'1',

'listRequest.seoHotelStar':'0',

'listRequest.sortDirection':'1',

'listRequest.sortMethod':'1',

'listRequest.standBack':'-1',

'listRequest.starLevels':'',

'listRequest.startLat':'0',

'listRequest.startLng':'0',

'listRequest.sug_act_info':'',

'listRequest.taRecommend':'false',

'listRequest.themeIds':'',

'listRequest.traceId':'b19bcbae-5495-4ce0-ad0e-3db4778d75e7',

'listRequest.wordId':'',

'listRequest.wordType':'-1',

'listRequest.elongToken':'2cbbf4d7-ed57-43f8-8842-4a74ad939a46',

'listRequest.trace_token':'|*|cityId:101|*|qId:1b8e11de-115a-4191-a0ce-b9e679ae66cb|*|st:city|*|sId:101|*|'

}

pages=10

#爬取深度

url='http://hotel.elong.com/ajax/tmapilist/asyncsearch'

path=r"C:\Users\asus\Desktop\CS\PYTHON\实例\酒店信息.csv"

file=open(path,"a")

file.write("名称"+","+"价格"+","+"评分"+"\n")

file.close()

#打印表头

for page in range(pages):

form_data['listRequest.pageIndex']=str(page)

#动态加载表单

detail_list=get_detail(url,header,form_data)

save(detail_list,path)

if __name__ == "__main__":

time1=time.time()

main()

print("Execute over")

time2=time.time()

print(time2-time1)

#耗时33.72(s)

代码至此结束

import re

import requests

import json

import time

import threading

def get_detail(url,header,form_data,path):

response=requests.post(url,headers=header,data=form_data)

response.encoding=response.apparent_encoding

dictionary=json.loads(response.text)

#json格式转换

text=dictionary['value']['hotelListHtml']

#字典取值

hotel_list=text.split('

')

#切片

dict_list=[]

for each_hotel in hotel_list:

try:

name=re.findall(r'class="info_cn">(.*?)',each_hotel)[0]

price=re.findall(r'(.*?)',each_hotel)[0]

score=re.findall(r'data-score="(.*?)"',each_hotel)[0]

new_dict={}

new_dict["name"]=name

new_dict["price"]=price

new_dict["score"]=score

dict_list.append(new_dict)

except:

continue

save(dict_list,path)

#函数连接点

def save(detail_list,path):

file=open(path,"a")

for each_detail in detail_list:

name=each_detail["name"]

price=each_detail["price"]

score=each_detail["score"]

file.write(name+","+price+","+score+"\n")

file.close()

#保存

def main():

header={

'Accept':'application/json, text/javascript, */*; q=0.01',

'Accept-Encoding':'gzip, deflate',

'Accept-Language':'zh-CN,zh;q=0.9,ja;q=0.8,en;q=0.7',

'Connection':'keep-alive',

'Content-Length':'2273',

'Content-Type':'application/x-www-form-urlencoded; charset=UTF-8',

'Cookie':'CookieGuid=2cbbf4d7-ed57-43f8-8842-4a74ad939a46; H5CookieId=db6aea90-999f-4be0-9930-7cfcea066214; _fid=2cbbf4d7-ed57-43f8-8842-4a74ad939a46; CitySearchHistory=0101%23%E5%8C%97%E4%BA%AC%23beijing%23; firsttime=1583163644996; SessionGuid=abe14edf-638e-44e5-a26d-94807cbf9e7a; Esid=038b4b4a-fd3a-4c88-bb54-fe60f6a9bf12; com.eLong.CommonService.OrderFromCookieInfo=Orderfromtype=1&Parentid=1000&Status=1&Cookiesdays=30&Coefficient=0.0&Pkid=1105&Priority=9001&Isusefparam=0&Makecomefrom=0&Savecookies=0; fv=pcweb; anti_token=4D71FDF2-2357-461A-984C-56958AE1A7CE; ShHotel=InDate=2020-03-03&CityID=0101&CityNameEN=beijing&CityNameCN=%E5%8C%97%E4%BA%AC&OutDate=2020-03-04&CityName=%E5%8C%97%E4%BA%AC; ext_param=bns%3D4%26ct%3D3; s_cc=true; __tctmc=0.215881358; __tctmc=20377580.26050747; __tctmd=20377580.254392154; __tctma=20377580.1583163637156064.1583163637230.1583163637230.1583200239719.2; __tctmu=20377580.0.0; __tctmz=20377580.1583200239719.2.1.utmccn=(referral)|utmcsr=bing.com|utmcct=|utmcmd=referral; longKey=1583163637156064; __tctrack=0; __tctmd=0.1; lasttime=1583202216497; s_visit=1; User-Ref-SessionId=78bd-e80d-13ad-2b0a-92aa-532a; trace_extend={"deviceid":"2cbbf4d7-ed57-43f8-8842-4a74ad939a46","appid":"6","userid":"2cbbf4d7-ed57-43f8-8842-4a74ad939a46","orderfromid":1105,"sessionid":"78bd-e80d-13ad-2b0a-92aa-532a","pvid":"c1b8aaeb"}; __tctmb=0.1284443720926117.1583203761350.1583203761350.1; s_sq=elongcom%3D%2526pid%253Dhotel.elong.com%25252Fbeijing%2526pidt%253D1%2526oid%253Djavascript%25253Avoid(0)%2526ot%253DA; __tccgd=0.0; JSESSIONID=1F53BCB446035ADE53A945505FBF2D47',

'Host':'hotel.elong.com',

'Origin':'http://hotel.elong.com',

'Referer':'http://hotel.elong.com/beijing/',

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36',

'X-Requested-With':'XMLHttpRequest'

}

form_data={

'code':'7611836',

'listRequest.areaID':'',

'listRequest.bedLargeTypes':'',

'listRequest.bookingChannel':'1',

'listRequest.breakfasts':'0',

'listRequest.cancelFree':'false',

'listRequest.cardNo':'192928',

'listRequest.checkInDate':'2020-03-03 00:00:00',

'listRequest.checkOutDate':'2020-03-04 00:00:00',

'listRequest.cityID':'0101',

'listRequest.cityName':'北京',

'listRequest.crawledFlag':'0',

'listRequest.customLevel':'11',

'listRequest.discountIds':'',

'listRequest.distance':'20000',

'listRequest.endLat':'0',

'listRequest.endLng':'0',

'listRequest.epcCreateOrderGuideVersion':'C',

'listRequest.facilityIds':'',

'listRequest.guokaoFlag':'false',

'listRequest.highPrice':'0',

'listRequest.hotelBrandIDs':'',

'listRequest.hotelIDs':'',

'listRequest.interceptAction':'0',

'listRequest.isAdvanceSave':'false',

'listRequest.isAfterCouponPrice':'true',

'listRequest.isCoupon':'false',

'listRequest.isDebug':'false',

'listRequest.isLimitTime':'false',

'listRequest.isLogin':'false',

'listRequest.isMobileOnly':'true',

'listRequest.isNeed5Discount':'true',

'listRequest.isNeedNotContractedHotel':'false',

'listRequest.isNeedSimilarPrice':'false',

'listRequest.isReturnNoRoomHotel':'true',

'listRequest.isStaySave':'false',

'listRequest.isTrace':'false',

'listRequest.isUnionSite':'false',

'listRequest.isnstantConfirm':'false',

'listRequest.keywords':'',

'listRequest.keywordsType':'0',

'listRequest.language':'cn',

'listRequest.lat':'39.9059093',

'listRequest.listType':'0',

'listRequest.lng':'116.3913489',

'listRequest.lowPrice':'0',

'listRequest.orderFromID':'1105',

'listRequest.pageIndex':'1',

'listRequest.pageSize':'20',

'listRequest.payMethod':'0',

'listRequest.personOfRoom':'0',

'listRequest.poiId':'0',

'listRequest.poiName':'',

'listRequest.productTypes':'1,6,26',

'listRequest.promotionChannelCode':'0000',

'listRequest.promotionSwitch':'-1',

'listRequest.proxyID':'ZD',

'listRequest.rankType':'0',

'listRequest.returnFilterItem':'true',

'listRequest.sectionId':'',

'listRequest.sellChannel':'1',

'listRequest.seoHotelStar':'0',

'listRequest.sortDirection':'1',

'listRequest.sortMethod':'1',

'listRequest.standBack':'-1',

'listRequest.starLevels':'',

'listRequest.startLat':'0',

'listRequest.startLng':'0',

'listRequest.sug_act_info':'',

'listRequest.taRecommend':'false',

'listRequest.themeIds':'',

'listRequest.traceId':'b19bcbae-5495-4ce0-ad0e-3db4778d75e7',

'listRequest.wordId':'',

'listRequest.wordType':'-1',

'listRequest.elongToken':'2cbbf4d7-ed57-43f8-8842-4a74ad939a46',

'listRequest.trace_token':'|*|cityId:101|*|qId:1b8e11de-115a-4191-a0ce-b9e679ae66cb|*|st:city|*|sId:101|*|'

}

pages=10

#爬取深度

url='http://hotel.elong.com/ajax/tmapilist/asyncsearch'

path=r"C:\Users\asus\Desktop\酒店信息.csv"

file=open(path,"a")

file.write("名称"+","+"价格"+","+"评分"+"\n")

file.close()

#打印表头

threads=[]

#线程列表

for page in range(pages):

form_data['listRequest.pageIndex']=str(page)

#动态加载表单

thread=threading.Thread(target=get_detail,args=(url,header,form_data,path),name=str(page))

#多开线程

thread.start()

threads.append(thread)

for each_thread in threads:

each_thread.join()

#线程同步

if __name__ == "__main__":

time1=time.time()

main()

print("Execute over")

time2=time.time()

print(time2-time1)

#耗时1.78(s)

代码至此结束

此栏目旨在共享自学之乐，共勉求知之友，共塑网站和谐好学的形象。

欢迎大家在评论区发表合理的意见和指正。

如果觉得该栏目对您有帮助，望不吝点赞收藏。

weixin_39603327
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python多线程实现访问页面_Python线程进阶篇|多线程下载网页
weixin_31601663的博客
01-29 430
Python的并发编程前面只讲了进程和线程的入门篇，线程里面还有很多有用而好玩的招式，我们还没有讲，我一直主张学一门语言一定要有兴趣，带着玩Python的心态去学,会轻松很多，打个比方打扫卫生和打羽毛球，可能都很累，为啥你打球就很high,而在家打扫卫生就很累，因为你enjoy打球哈哈，好言归正传，今天我们就来讲讲多线程编程~~要点：线程的同步线程的锁线程的通讯1.线程如何同步1).若主程序创建了...
python多线程爬虫 爬取多个网页_Python 多线程抓取网页
weixin_39520595的博客
12-04 957
最近，一直在做网络爬虫相关的东西。 看了一下开源C++写的larbin爬虫，仔细阅读了里面的设计思想和一些关键技术的实现。1、larbin的URL去重用的很高效的bloom filter算法；2、DNS处理，使用的adns异步的开源组件；3、对于url队列的处理，则是用部分缓存到内存，部分写入文件的策略。4、larbin对文件的相关操作做了很多工作5、在larbin里有连接池，通过创建套接字，向目...
Python 多线程与常见算法
xfyangle的博客
03-11 929
多线程介绍 我们之前所讲到的爬虫，都只有一个进程一个线程，我们称之为单线程爬虫。单线程爬虫每次只访问一个页面，不能充分利用电脑的网络带宽。一个页面最多也就几百KB，所以爬虫在爬取一个页面的时候，多出来的网速就浪费掉了。 而如果我们可以让爬虫同时访问10个页面，就相当于我们的爬取速度提高了10倍。这个时候就需要使用多线程技术了。 这里有一点要强调一下，Python这门语言在
Python爬虫学习1----单线程和多线程访问网页比较
qq_42467713的博客
08-07 351
爬虫是I/O密集型操作，在请求网页源代码时，使用多线程可以大大提高爬虫的运行效率。 例子 import requests import time from multiprocessing.dummy import Pool def query(url): requests.get(url) start = time.time() for i in range(100): query('https://www.baidu.com/') end = time.time() print(f'单
Python——单线程与多线程
weixin_43213658的博客
05-06 3260
import requests import time link_list = [] with open ("C:/Users/Administrator/Desktop/alexa.txt") as file: file_list = file.readlines() for eachone in file_list: link = eachone.sp...
基python实现多线程网页爬虫
09-21
总的来说，这个Python多线程网页爬虫示例展示了如何结合使用 `threading` 模块和广度优先搜索策略来高效地爬取互联网上的网页。通过合理地分配线程任务并使用同步机制，可以显著提高爬虫的性能，尤其是在处理大型...
python 多线程实现多个网址的多次快速访问
04-26
本教程将详细讲解如何使用Python的多线程来实现对多个网址的快速访问，并记录访问结果。 首先，我们需要导入Python的`threading`模块，它是Python标准库中的多线程支持库。`threading.Thread`是创建新线程的类，而`...
PYthon-multithreading-Test.rar_python_python 多线程_python多线程_多线程
09-19
本压缩包“PYthon-multithreading-Test.rar”包含了有关Python多线程测试的源码，旨在帮助用户深入理解和实践Python的线程操作。 Python中的多线程是通过`threading`模块实现的，这个模块提供了基本的线程和同步...
Python多线程实现同步的四种方式
12-23
在Python编程中，多线程同步是处理并发执行的关键，主要目的是确保共享资源的安全访问，避免数据不一致性和竞态条件。以下四种方法是Python中实现多线程同步的常见方式： 1. **锁机制（Lock）** - **Lock** 类是...
Python实现多线程抓取网页功能实例详解
09-21
主要介绍了Python实现多线程抓取网页功能,结合具体实例形式详细分析了Python多线程编程的相关操作技巧与注意事项,并附带demo实例给出了多线程抓取网页的实现方法,需要的朋友可以参考下
python之单线程和多线程访问网站
songshao の blog
04-16 1907
——众所周知，在python爬虫中我们经常因为爬虫的速度慢而烦恼。于是就在学习中学习了一下多线程访问网站。在了解多线程的时候我们需要先了解单线程问题。我对单线程做一简单的分析。 1、单线程问题 ——单线程就是我们最原始的方法，直接写出访问网站的脚本不需要任何多线程处理例如我们要访问300个网站，网站下载链接点击这里进入下载，我们现在应该已经下载到了我们所需要的300个URL文件。 下...
python多线程_Python实现多线程爬虫
weixin_39824191的博客
11-17 347
最近在写爬虫程序爬取亚马逊上的评论信息，因此也自学了很多爬虫相关的知识，其实网络上已经有很多基于Python的入门爬虫程序了，所以学习起来比较方便，唯独那个多线程爬虫一直都学的不是很明白，所以就写下这篇blog记录一下学到的一些东西（主要是对自己所学的一些东西进行整理和总结）。一、Python的多线程Python多线程网上的介绍很多了，但是一直都听说Python的多线程很鸡肋，为什么呢？为什么有人...
Python爬虫深造篇(一)——多线程网页爬取
Huisoul的博客
10-17 5422
一、前情提要 相信来看这篇深造爬虫文章的同学，大部分已经对爬虫有不错的了解了，也在之前已经写过不少爬虫了，但我猜爬取的数据量都较小，因此没有过多的关注爬虫的爬取效率。这里我想问问当我们要爬取的数据量为几十万甚至上百万时，我们会不会需要要等几天才能将数据全都爬取完毕呢？ 唯一的办法就是让爬虫可以 7×24 小时不间断工作。因此我们能做的就是多叫几个爬虫一起来爬数据，这样便可大大提升爬虫的效率。 但在介绍Python 如何让多个爬虫一起爬取数据之前，我想先为大家介绍一个概念——并发。 文章目录一、前
python爬取几千个url页面，使用多线程与队列，并有序输出
最新发布
weixin_70922012的博客
06-01 293
这样我就用了2个线程，并添加了queue队列,达到了我要的多线程并有序输出的效果，但是方法fun1和fun2代码一样，只是改了for url in urllist[0:300]:里面的数字，使代码长度增加了，不美观。10个线程，同时运行，速度确实提高了很多，但是我最终要几千个，将df.基金代码[0:10]:改成df.基金代码[0:1000]:，同时开这么多线程电脑都会卡死，而且输出的顺序是乱的。我要获取某基金网站上面的申购费和赎回费，有几千个基金，一个个获取太慢了，于是想到了多线程。
python多线程访问网页_通过python多线程访问网页
weixin_39743414的博客
12-05 955
通过python多线程访问网页@for&ever 2010-07-03通过python，采用多线程的方式访问网页。一个简单的小例子，访问三个不同的页面，每个页面开20个线程并发访问。python脚本如下：#!/usr/bin/env python# -*- coding: utf-8 -*-'''Created on 2010-7-2@author: forever'''import sy...
python多线程爬取网页名称写入到excel
拱卒的博客
08-30 745
#!/usr/bin/env python # coding: utf-8 # In[1]: import pandas as pd import threading import requests from bs4 import BeautifulSoup from time import sleep from datetime import datetime # In[2]: df = pd.read_excel("网站对应名字.xlsx") # In[16]: sites =
关于多线程下动态加载ListView数据源的注意事项
MrHuang_s_blog的博客
12-26 1482
关于listview更新数据和界面不同步时出现的问题
python 爬虫 博客园_详解Python爬虫爬取博客园问题列表所有的问题
weixin_31519139的博客
01-28 513
一.准备工作首先，本文使用的技术为 python+requests+bs4，没有了解过可以先去了解一下。我们的需求是将博客园问题列表中的所有问题的题目爬取下来。二.分析：首先博客园问题列表页面右键点击检查通过Element查找问题所对应的属性或标签可以发现在div class ="one_entity"中存在页面中分别对应每一个问题接着div class ="news_item"中h2标签下是我们...
线程中动态加载Dll
qq_40110291的博客
11-21 680
//Threadtest.h #pragma once #include typedef void (*lpAdFun)(const char*);       //宏定义函数指针类型 class Threadtest { public:      Threadtest(void );      ~Threadtest(void ); public:
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值