《打工人分析简报》

最新推荐文章于 2024-05-21 14:07:51 发布

数据不吹牛

最新推荐文章于 2024-05-21 14:07:51 发布

阅读量289

点赞数

本文链接：https://blog.csdn.net/SeizeeveryDay/article/details/109281713

版权

大家好，我是小z

经常有粉丝后台问我机器学习相关的教程，今天发一波粉丝福利，文末简单粗暴的送3本Python机器学习相关的书籍《Python机器学习一本通》，快上车！

最近打工人这个梗和相关的沙雕梗火得直烧眉毛。

微博、b站、知乎、朋友圈...广大东西南北漂们突然找准了定位，大家既不满于听上去毫无人权的社畜，也自知不是满腔热血已经沸腾的奋斗者，我们的真实身份是——打工人。

忽如一夜春风来，千人万人打工仔。

我很好奇，这个神奇的定位（梗）怎么就火起来了？广大工友们在网上都贡献了哪些优质的工作笔记？于是我用Python爬取了微博、b站相关话题的数据，来一探究竟。

b站部分爬取代码（直接跳过完全不影响阅读体验）

url = 'https://search.bilibili.com/all?keyword=%E6%89%93%E5%B7%A5%E4%BA%BA&from_source=nav_suggest_new0&page={}'

def get_target(url,num = 10):
    result = pd.DataFrame()

    for i in range(1,num + 1):
        headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
        html = requests.get(url.format(i),headers = headers)
        bs = etree.HTML(html.text)

        for sig in bs.xpath('//li[@class = "video-item matrix"]'):
            title = sig.xpath('div[@class = "info"]/div/a/@title')[0]
            click = sig.xpath('div[@class = "info"]/div[3]/span[1]')[0].xpath('string(.)').strip('\n        ')
            danmu = sig.xpath('div[@class = "info"]/div[3]/span[2]')[0].xpath('string(.)').strip('\n        ')
            date = sig.xpath('div[@class = "info"]/div[3]/span[3]')[0].xpath('string(.)').strip('\n        ')
            up = sig.xpath('div[@class = "info"]/div[3]/span[4]')[0].xpath('string(.)').strip('\n        ')
            df = pd.DataFrame({'标题':[title],'播放量':[click],'弹幕':[danmu],'日期':[date],'UP主':[up]})
            result = pd.concat([result,df])

        time.sleep(random.random() + 0.5)
        print('已经完成b站第 {} 页爬取'.format(i))

    return result

打工人的火热

马克思曾经没说过：看一个现象有多火，百度指数是最简单粗暴的工具。