多进程+多线程爬取链家武汉二手房价

最新推荐文章于 2024-04-22 14:14:35 发布
最新推荐文章于 2024-04-22 14:14:35 发布
阅读量738 收藏 6
点赞数 2
分类专栏： 爬虫 文章标签： 爬虫 多进程 多线程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ylftake/article/details/80230435
版权

因为数据分析的需要,就写了爬取链家武汉的数据.因为用scrapy框架感觉太慢了,就自己写了个多进程同步执行的代码.

1.数据量:20000+

2.程序环境:Python3.6--->用的Anaconda的环境, Spyder

3.数据提取的方式:xpath

代码的思路是:

    因为链家对待爬虫是比较宽容的,因此大家爬取的时候还是要控制一下访问时间间隔和访问进程数.在链家的网站里,在总览界面,会有100页,每页30条数据,但是总的数据量在20000以上,因此不能直接第一界面获取.一般拥有多个数据的网站都不会直接把所有数据一次性显示的,一是为了降低服务器 的负载,二也是反爬措施的一种.

    但是数据总要显示啊,不能说不给人看了啊,因此我么要对页面进行分析,在分类栏里,我们发现,真个的二手房库是会根据地区进行区分的,因此我们点一下,发现:1,url里面只是最后的地址变了,前缀都没变.2,当页面数据超过3000时,也只显示3000条,即100页数据.因此我们要再分析一下,我们再看分栏,发现地区还能再分,点第一个发现:还是url变了,和第一次点分栏一样,只变了url的地区标识,此时页面数据降低在3000以下了,这就标识页面分页在100页以内了,这就给了我们可乘之机了.爬取的时候根据获取的url列表,多进程直接异步分别爬取各个url,然后在各个url里用多个线程爬取分页的数据,然后再保存数据即可.

    代码步骤:

   开始连接:https://wh.lianjia.com/ershoufang/baibuting/

1.准备步骤:获取所有待爬的url地区部分.

       地区分两部分:首先获取大区才能获取小地区,所幸大区可以直接获取

    

def getHousDict(firstUrl,housDict=None):
    
    #获取{'jiangan':['url']}
       #获取页面
    try:
        firstpage = getReponse(firstUrl)
            #匹配出地址 
        firstpage = etree.HTML(firstpage.text)
            #通过初试url 获取键 然后遍历键 获取剩下的url
        area = firstpage.xpath("//div[@data-role='ershoufang']/div[1]/a/@href")#获取地区列表
            #大地区小地区
        for a in area:
            a = a.split('/')[-2]
            housDict[a]=[]
    
        for area in housDict:
            nextUrl = 'https://wh.lianjia.com/ershoufang/'+area+'/'
            nextPage =  getReponse(nextUrl)
            nextPage = etree.HTML(nextPage.text)
            mudiArea = nextPage.xpath("//div[@data-role='ershoufang']/div[1]/a[@class='selected']/@href")[0] #获取当前大地区
            mudiArea = mudiArea.split('/')[-2]
            ar = nextPage.xpath("//div[@data-role='ershoufang']/div[2]/a/@href") #当前小地区
            L=[]
            for a in ar:
                ar = a.split('/')[-2]
                L.append(ar)
            if area ==mudiArea:
                housDict[area] = L
        
    except:
        print('获取url列表出错正在循环')
        time.sleep(2)
        getHousDict(firstUrl,housDict)
    return housDict

2,此时获取了 houseDict--->{'大区的url部分':['各个街道的url部分']}

    我们可以开始正式开爬了!!!!!

3.虽然有了url列表,但是我们不能直接爬取,因为要对url去重,

             设置一个 set()--->getq = set()--->所有以爬过的都放进去,多进程访问url,多线程爬取页面信息

def getInfo(lock,urllist,area):
    #从 字典里取出 小地区, 进入网页 获取 页码,同时进行找信息
    # 多进程加多线程异步  调入url
    #获取页码
    #多线程运行
    print('getinfo 运行')
    global getq
    for url in urllist:
        if url in getq:
            pass
        else:
            print('----------->不存在',url)
            getq.add(url)
            mainurl = "https://wh.lianjia.com/ershoufang/"+url+'/'
            coutpage = getReponse(mainurl)
            coutpage = etree.HTML(coutpage.text)
            try: 
                count = coutpage.xpath("//div[@class='page-box house-lst-page-box']/@page-data")[0]
                count = eval(count)
                countnum = count['totalPage'] #页码
            except:
                countnum = 1
                
            try:
                threads = [Thread(getHous(url,count,area,lock)) for count in range(1,countnum+1)]
                for t in threads:
                    t.start()
                for t in threads:
                    t.join()          
            except Exception as e:
                print('线程出错',e)

4.进入分页的页面后就开始拿!!! 因为数据情况各不相同,我也没完全考虑到所有的情况,大家要是发现什么异常情况,麻烦告知我一下,我改一下!

def getHouseInfo(url,count,area,lock):
    #分页爬取https://wh.lianjia.com/ershoufang/baibuting/pg2/
    nowurl = "https://wh.lianjia.com/ershoufang/"+url+"/pg"+str(count)+"/"
    try:
        housepage =  getReponse(nowurl)
        Page = etree.HTML(housepage.text)
        #获取列表
        #大区 小区房型 面积 楼层 建造时间 发布时间 地铁站#列表
        for info in Page.xpath("//li[@class='clear']"):
    
            name = info.xpath("./div[@class='info clear']/div[@class='address']/div[@class='houseInfo']")
            if name:
                name = info.xpath("./div[@class='info clear']/div[@class='address']/div[@class='houseInfo']/text()")[0]
                name = name.split('| ')
                for x in name:
                    if x ==' ':
                        name.remove(x)
                house_type = name[0] #房型
                house_size = name[1] #面积
            else:
                house_type = '暂无数据'
                house_size = '暂无数据'
            year_type = info.xpath("./div[@class='info clear']/div[@class='flood']/div[@class='positionInfo']")
            if year_type:
                year_type = info.xpath("./div[@class='info clear']/div[@class='flood']/div[@class='positionInfo']/text()")[0]
                year_type = year_type.split(')')
                house_num = year_type[0]+')' # 楼层
                house_year = year_type[1].split(' ')[0] #楼型
            else:
                house_num = '暂无数据'
                house_year = '暂无数据'
            times = info.xpath("./div[@class='info clear']/div[@class='followInfo']")
            if times:
                times = info.xpath("./div[@class='info clear']/div[@class='followInfo']/text()")[0]
                house_times = times.split('/ ')[-1].split('以前')[0] #发布时间
            else:
                house_times = '暂无数据'
            subway = info.xpath("./div[@class='info clear']/div[@class='tag']/span[@class='subway']/text()")#地铁信息
            if subway !=[]:
                subway = subway[0]
            else:
                subway='暂无数据'
            price = info.xpath("./div[@class='info clear']/div[@class='priceInfo']/div[@class='totalPrice']/span")
            if price:
                price = info.xpath("./div[@class='info clear']/div[@class='priceInfo']/div[@class='totalPrice']/span/text()")[0]
            else:
                price = '暂无数据' #房价实际数
            pricedanwei = info.xpath("./div[@class='info clear']/div[@class='priceInfo']/div[@class='totalPrice']")
            if pricedanwei:
                pricedanwei = info.xpath("./div[@class='info clear']/div[@class='priceInfo']/div[@class='totalPrice']/text()")[0]
            houseprice = price +pricedanwei #总房价
            Unit_Price = info.xpath("./div[@class='info clear']/div[@class='priceInfo']/div[@class='unitPrice']/span/text()")
            if Unit_Price !=[]:
                Unit_Price = Unit_Price[0].split('单价')[-1]
            yield {
                    '地区':area,
                    '街道':url,
                    '房型':house_type,
                    '面积':house_size,
                    '楼层':house_num,
                    '建造时间':house_year,
                    '发布时间':house_times,
                    '房价':houseprice,
                    '单价':Unit_Price,
                    '地铁':subway
                    }           
            
    except Exception as e:
        print('info出错',e)

5.拿到了 总不能放内存啊,我们要写下来才是我们借鉴的数据啊

def getHous(url,count,area,lock):
    for item in getHouseInfo(url,count,area,lock):
        print('获取成功,正在打印')
        lock.acquire()
        write_info(item)
        lock.release()

这个地方大家一定注意:多进程,多线程,不管是进程池还是异步的啥啥啥的,还是线程池啥的,但凡涉及写入文件,写入数据库啥的,必须加锁!我这次用的是multiprocessing的manage().Lock(),后面会写出来.

使用注意:

  第一:大家爬取的时候注意访问间隔,

第二:设置报错情况处理,当返回码不是200时怎么办?当验证码时怎么办?当网络状态差时怎么办?

第三:headers,这个大家最好还是根据正常访问时有的东西设置随机的,特别是一些反爬厉害的网站

全部代码在下面:

import random
import requests
from lxml import etree
import time
from multiprocessing import Pool,Manager
from threading import Thread
def userAgent():# 随机获取useragent
    useragent = [
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36',
            'Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0',
            'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/533.21.1 (KHTML, like Gecko) Version/5.0.5 Safari/533.21.1',
            'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)'
            ]
    
    return useragent[random.randint(0,3)]



def getReponse(url):
    time.sleep(2)
    useragent = userAgent() #随机获取useragent
        #host 可以根据地区改变
    headers={
                'User-Agent':useragent,
                'Cookie':"lianjia_uuid=80d19086-77a7-4c19-a170-837a6807599d; _jzqckmp=1; UM_distinctid=1632551ec1a7dd-043124e50105a2-454c062c-1fa400-1632551ec1b103e; _ga=GA1.2.1902842581.1525339523; _gid=GA1.2.1439105168.1525339523; select_city=420100; _smt_uid=5aead5c9.24201108; _jzqx=1.1525346703.1525346703.1.jzqsr=wh%2Elianjia%2Ecom|jzqct=/ershoufang/baibuting/.-; all-lj=dafad6dd721afb903f2a315ab2f72633; Hm_lvt_9152f8221cb6243a53c83b956842be8a=1525339589,1525350042,1525395704; CNZZDATA1255849575=327501666-1525338295-https%253A%252F%252Fwww.lianjia.com%252F%7C1525391329; CNZZDATA1254525948=671308690-1525335895-https%253A%252F%252Fwww.lianjia.com%252F%7C1525391567; CNZZDATA1255633284=62432075-1525337313-https%253A%252F%252Fwww.lianjia.com%252F%7C1525394112; CNZZDATA1255604082=137477002-1525337374-https%253A%252F%252Fwww.lianjia.com%252F%7C1525390582; _qzjc=1; _jzqa=1.3645530149229753300.1525339512.1525350043.1525395704.4; _jzqc=1; _jzqy=1.1525339512.1525395704.1.jzqsr=baidu.-; Hm_lpvt_9152f8221cb6243a53c83b956842be8a=1525395732; _qzja=1.1290139477.1525339589257.1525350042524.1525395704204.1525395723323.1525395732013.0.0.0.88.4; _qzjto=5.1.0; lianjia_ssid=dcf4ad87-0def-73d4-fe77-087b3db79de3",
                'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
                'Host':'wh.lianjia.com'
                }
    page = requests.get(url,headers=headers)
    if page:
        return page
    else:
        getReponse(url)
        

def getHousDict(firstUrl,housDict=None):
    
    #获取{'jiangan':['url']}
       #获取页面
    try:
        firstpage = getReponse(firstUrl)
            #匹配出地址 
        firstpage = etree.HTML(firstpage.text)
            #通过初试url 获取键 然后遍历键 获取剩下的url
        area = firstpage.xpath("//div[@data-role='ershoufang']/div[1]/a/@href")#获取地区列表
            #大地区小地区
        for a in area:
            a = a.split('/')[-2]
            housDict[a]=[]
    
        for area in housDict:
            nextUrl = 'https://wh.lianjia.com/ershoufang/'+area+'/'
            nextPage =  getReponse(nextUrl)
            nextPage = etree.HTML(nextPage.text)
            mudiArea = nextPage.xpath("//div[@data-role='ershoufang']/div[1]/a[@class='selected']/@href")[0] #获取当前大地区
            mudiArea = mudiArea.split('/')[-2]
            ar = nextPage.xpath("//div[@data-role='ershoufang']/div[2]/a/@href") #当前小地区
            L=[]
            for a in ar:
                ar = a.split('/')[-2]
                L.append(ar)
            if area ==mudiArea:
                housDict[area] = L
        
    except:
        print('获取url列表出错正在循环')
        time.sleep(2)
        getHousDict(firstUrl,housDict)
    return housDict

def getHous(url,count,area,lock):
    for item in getHouseInfo(url,count,area,lock):
        print('获取成功,正在打印')
        lock.acquire()
        write_info(item)
        lock.release()

def getHouseInfo(url,count,area,lock):
    #分页爬取https://wh.lianjia.com/ershoufang/baibuting/pg2/
    nowurl = "https://wh.lianjia.com/ershoufang/"+url+"/pg"+str(count)+"/"
    try:
        housepage =  getReponse(nowurl)
        Page = etree.HTML(housepage.text)
        #获取列表
        #大区 小区房型 面积 楼层 建造时间 发布时间 地铁站#列表
        for info in Page.xpath("//li[@class='clear']"):
    
            name = info.xpath("./div[@class='info clear']/div[@class='address']/div[@class='houseInfo']")
            if name:
                name = info.xpath("./div[@class='info clear']/div[@class='address']/div[@class='houseInfo']/text()")[0]
                name = name.split('| ')
                for x in name:
                    if x ==' ':
                        name.remove(x)
                house_type = name[0] #房型
                house_size = name[1] #面积
            else:
                house_type = '暂无数据'
                house_size = '暂无数据'
            year_type = info.xpath("./div[@class='info clear']/div[@class='flood']/div[@class='positionInfo']")
            if year_type:
                year_type = info.xpath("./div[@class='info clear']/div[@class='flood']/div[@class='positionInfo']/text()")[0]
                year_type = year_type.split(')')
                house_num = year_type[0]+')' # 楼层
                house_year = year_type[1].split(' ')[0] #楼型
            else:
                house_num = '暂无数据'
                house_year = '暂无数据'
            times = info.xpath("./div[@class='info clear']/div[@class='followInfo']")
            if times:
                times = info.xpath("./div[@class='info clear']/div[@class='followInfo']/text()")[0]
                house_times = times.split('/ ')[-1].split('以前')[0] #发布时间
            else:
                house_times = '暂无数据'
            subway = info.xpath("./div[@class='info clear']/div[@class='tag']/span[@class='subway']/text()")#地铁信息
            if subway !=[]:
                subway = subway[0]
            else:
                subway='暂无数据'
            price = info.xpath("./div[@class='info clear']/div[@class='priceInfo']/div[@class='totalPrice']/span")
            if price:
                price = info.xpath("./div[@class='info clear']/div[@class='priceInfo']/div[@class='totalPrice']/span/text()")[0]
            else:
                price = '暂无数据' #房价实际数
            pricedanwei = info.xpath("./div[@class='info clear']/div[@class='priceInfo']/div[@class='totalPrice']")
            if pricedanwei:
                pricedanwei = info.xpath("./div[@class='info clear']/div[@class='priceInfo']/div[@class='totalPrice']/text()")[0]
            houseprice = price +pricedanwei #总房价
            Unit_Price = info.xpath("./div[@class='info clear']/div[@class='priceInfo']/div[@class='unitPrice']/span/text()")
            if Unit_Price !=[]:
                Unit_Price = Unit_Price[0].split('单价')[-1]
            yield {
                    '地区':area,
                    '街道':url,
                    '房型':house_type,
                    '面积':house_size,
                    '楼层':house_num,
                    '建造时间':house_year,
                    '发布时间':house_times,
                    '房价':houseprice,
                    '单价':Unit_Price,
                    '地铁':subway
                    }           
            
    except Exception as e:
        print('info出错',e)
            
     
def write_info(item):
    with open('lianjiaershou.csv','ab') as f:
        item = dict(item)
        f.write(item['地区'].encode('gbk'))
        f.write(b',')
        f.write(item['街道'].encode('gbk'))
        f.write(b',')
        f.write(item['房型'].encode('gbk'))
        f.write(b',')
        f.write(item['面积'].encode('gbk'))
        f.write(b',')
        f.write(item['楼层'].encode('gbk'))
        f.write(b',')
        f.write(item['建造时间'].encode('gbk'))
        f.write(b',')
        f.write(item['发布时间'].encode('gbk'))
        f.write(b',')
        f.write(item['房价'].encode('gbk'))
        f.write(b',')
        f.write(item['地区'].encode('gbk'))
        f.write(b',')
        f.write(item['单价'].encode('gbk'))
        f.write(b',')
        f.write(item['地铁'].encode('gbk'))
        f.write(b'\r\n')
            
        
    


def getInfo(lock,urllist,area):
    #从 字典里取出 小地区, 进入网页 获取 页码,同时进行找信息
    # 多进程加多线程异步  调入url
    #获取页码
    #多线程运行
    print('getinfo 运行')
    global getq
    for url in urllist:
        if url in getq:
            pass
        else:
            print('----------->不存在',url)
            getq.add(url)
            mainurl = "https://wh.lianjia.com/ershoufang/"+url+'/'
            coutpage = getReponse(mainurl)
            coutpage = etree.HTML(coutpage.text)
            try: 
                count = coutpage.xpath("//div[@class='page-box house-lst-page-box']/@page-data")[0]
                count = eval(count)
                countnum = count['totalPage'] #页码
            except:
                countnum = 1
                
            try:
                threads = [Thread(getHous(url,count,area,lock)) for count in range(1,countnum+1)]
                for t in threads:
                    t.start()
                for t in threads:
                    t.join()          
            except Exception as e:
                print('线程出错',e)

if __name__=='__main__':
    import functools
    #首先获取信二手房字典
    firstUrl = 'https://wh.lianjia.com/ershoufang/baibuting/'
    housDict={}
    print('正在启动中')
    housDict =getHousDict(firstUrl,housDict) 
#    print(housDict)#所有待爬地址的关键字
    print('url列表获取成功')
    #获取信息
    q = set()#小地区队列
    getq=set()#已经爬过的小地区
    manager = Manager()
    lock = manager.Lock()
    getInfo_Lock=functools.partial(getInfo,lock)
    p = Pool(3)
    if housDict:
        print('开始运行')
        for area in housDict:#异步进程 传 url 和q
            print('正在运行')
            urllist = housDict[area]
            p.apply_async(getInfo_Lock(urllist=urllist,area=area))
        p.close()
        p.join()
上面的代码,我写了不少冗余,大家在实际使用时,可以根据自己的情况自行删减. 

                

        

        

    




    

      

        

            

              
                
                  Spark---Yang
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    2
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    6
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
关于python多线程抓取链家数据

				
			

			

				

					qq_39435350的博客
				

				

					01-21
					
					351
					
				

			

		

		

			
				
【代码】关于python多线程抓取链家数据。

			
		

	



                

              
                



	

		

			

				
					
Python爬取房天下武汉房价.pdf

				
			

			

				

					10-07
				

			

		

		

			
				
Python爬取房天下武汉房价，适用于全国各大城市

			
		

	



                


  
              

                


	

		

			

				
					
Python湖北武汉二手房源爬虫数据可视化系统设计与实现

					
最新发布

				
			

			

				

					杭州.黄老师
				

				

					04-22
					
					3825
					
				

			

		

		

			
				
Python湖北武汉二手房源爬虫数据可视化系统设计与实现，黄菊华老师《Vue.js入门与商城开发实战》《微信小程序商城开发》图书作者，CSDN博客专家，在线教育专家，CSDN钻石讲师；专注大学生毕业设计教育和辅导。所有项目都配有从入门到精通的基础知识视频课程，学习后应对毕业设计答辩。项目配有对应开发文档、开题报告、任务书、PPT、论文模版等项目都录了发布和功能操作演示视频；项目的界面和功能都可以定制，包安装运行！！！如果需要联系我，可以在CSDN网站查询黄菊华老师。

			
		

	





	

		

			

				
					
python爬取武汉二手房房价

				
			

			

				

					m0_51429770的博客
				

				

					11-29
					
					876
					
				

			

		

		

			
				
局限比较大，只能存放一页的数据，因为这个网站反扒有点恶心，不想搞了，而且获取一页的数据也够了，多了反而数据不好展示。提前说一下，如果获取的内容都是空的，那就直接去网站上刷新一下，因为有个机制，但时候就知道了。想想后面用PowerBI又将数据整理了一下，感觉房价的确实难分析，因为地点太多了。第一次的爬取老师说可能不够好，这的那的，那就再来一次呗。她推荐我们爬取武汉二手房的房价，因为里面的信息比较全。都有注释，具体字符串怎么处理的就不说了，直接用吧。红色圈出来的都需要爬，这老师，有点坑。

			
		

	



		

			
		



	

		

			

				
					
Python多线程爬取链家房源，保存excel表格，入库实现数据可视化分析，并对脚本进行部署

				
			

			

				

					m0_56659620的博客
				

				

					08-10
					
					424
					
				

			

		

		

			
				
以下为爬虫脚本代码 resuqsts_page.py  脚本容器目录所存放位置已做linux系统更改。下列是所用到的包放在requirements.txt。部署所用dockerfile。部署根目录以及文件存放位置。docker 容器运行命令。

			
		

	





	

		

			

				
					
python爬虫爬取武汉房价信息

				
			

			

				

					m0_51429770的博客
				

				

					11-17
					
					963
					
				

			

		

		

			
				
Python爬虫爬取房价信息

			
		

	





	

		

			

				
					
tcp多进程+tcp多线程通信.rar

				
			

			

				

					11-23
				

			

		

		

			
				
本设计通过scoket编程实现tcp中客户端与服务器之间的通信，包含两个文件，一个多进程实现客户端访问，另一个多线程实现客户端访问；代码经过验证可以跑通，并且程序包含有大量的中文注释，适合像博主这样的小白进行...

			
		

	





	

		

			

				
					
c语言多进程多线程编程

				
			

			

				

					07-21
				

			

		

		

			
				
在计算机科学中，多进程和多线程是两种并发执行的方式，它们允许程序在同一时间处理多个任务，从而提高系统的效率和响应性。C语言作为一门底层且强大的编程语言，提供了丰富的系统调用接口来实现多进程和多线程编程...

			
		

	





	

		

			

				
					
多线程读取+多进程保存多路摄像头图像

				
			

			

				

					01-20
				

			

		

		

			
				
（1）利用python多进程程或多线程实时读取远程IP摄像头视频 （2）Pyhon cv2.VideoWriter 保存视频 整合成如下代码，可以对多路网络摄像头图像实时采集并分别保存视频。或者自己改写代码，直接保存每路的实时图像也...

			
		

	





	

		

			

				
					
多线程爬取高清图1.0（包含单线程）

				
			

			

				

					07-12
				

			

		

		

			
				
然而，需要注意的是，多线程并不总是能带来线性的性能提升，因为操作系统在切换线程时也会有开销，而且对于I/O密集型任务（如网络爬虫），多线程的优势可能不如多进程明显。  标签中的“python”表明该项目是使用...

			
		

	





	

		

			

				
					
scrapy爬取武汉房价，并分析可视化数据

				
			

			

				

					06-18
				

			

		

		

			
				
scrapy爬虫抓取数据，grafana分析数据

结合Grafana分析武汉房价数据

			
		

	





	

		

			

				
					
房天下网站爬取的武汉市小区数据

				
			

			

				

					08-08
				

			

		

		

			
				
利用房天下网站，爬取武汉市小区数据，包括小区地址、平均房价、涨跌幅等

			
		

	





	

		

			

				
					
Python爬取房价信息

				
			

			

				

					12-27
				

			

		

		

			
				
Pyhon爬虫案例-----爬取北京房价，主要功能，爬虫，数据可视化。

			
		

	





	

		

			

				
					
武汉二手房价数据集.xlsx

				
			

			

				

					04-13
				

			

		

		

			
				
8种属性：面积，户型，阶层，朝向，总价/万，平均价 ，位置，详细位置
700条数据
用于数据分析入门

			
		

	





	

		

			

				
					
【Python 多线程+ip代理+正则+pyquery】爬取链家二手房信息

				
			

			

				

					fangqileo的博客
				

				

					11-12
					
					3584
					
				

			

		

		

			
				
现在的lj已经不再公示房屋交易记录，所以只能爬一爬房屋基本信息。

用到的模块还是挺多的，一波导入


import requests 
import random
from pyquery import PyQuery as pq 
import re 
import pymysql 
from pymysql.converters import escape_string
import threading 
import time


#自行查找ua
uas = []
ua = random.choic

			
		

	





	

		

			

				
					
利用代理池和多线程爬取房天下上万条数据

				
			

			

				

					DDB
				

				

					12-26
					
					1145
					
				

			

		

		

			
				
有了代理池之后就可以爬很多网站了，很多网站的反爬措施都是从ip方面下手，通过代理池可以近乎拥有无穷的ip，再也不怕封ip啦
下面我找上了房天下这个网站练一下手，通过测试，这个网站的反爬措施是一旦你访问过于频繁，他就会给你一个验证码，通过了验证码才能继续浏览。由于本人水平有限，可以说破解不了任何的验证码，所以希望通过更换ip来达到目的。
首先，先来了解一下这个网站，我准备爬取二手房的数据
这个是筛选...

			
		

	





	

		

			

				
					
爬取武汉市租房信息

				
			

			

				

					何加焉的博客
				

				

					03-01
					
					868
					
				

			

		

		

			
				
 
已经定位找到了房源信息与价格

#-*- coding:utf-8 -*-
from bs4 import BeautifulSoup
from urlparse import urljoin
import requests
import csv

url = "http://wh.58.com/pinpaigongyu/pn/{page}/?minprice=2000_4000"

#已完成...

			
		

	





	

		

			

				
					
多线程----使用线程池爬取二手房信息

				
			

			

				

					huihui_shushu的博客
				

				

					05-12
					
					301
					
				

			

		

		

			
				
最开始采用单线程,但是总共要爬取100页共计6000多个html数据,效率特别低,临时学习了一下线程池,非常好用

直接上代码:


import urllib.request
from lxml import etree

import threadpool
import ssl
ssl._create_default_https_context = ssl._create_unverified...

			
		

	





	

		

			

				
					
python多进程+多线程爬虫

				
			

			

				

					10-15
				

			

		

		

			
				
Python多进程多线程爬虫是指在进行网络爬虫任务时，利用Python语言的多进程和多线程技术来提高爬取效率。  多进程爬虫指的是利用Python的multiprocessing模块，将爬取任务分配给多个进程同时进行。每个进程独立运行...

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值