- 博客(6)
- 收藏
- 关注
原创 15分钟带你快速学习并发式编程,整理不易,没有废话,全是干货,记得三连(转发标明出处!!!!)
多并发编程 并发:程序中的AB两个部分,通过A与B轮流切换,让外界感觉是一个进程 并行:程序中多个部分同时执行,需要计算机有多核或多个CPU 进程:启动一个程序,就启动了一个或多个进程,它是分配内存的最小基本单位 线程:一个进程包含一个或多个线程,它是比进程更小的单元,是CPU分配资源的基本单位 异步编程(I/O):一个线程里面包含多个协作式并发的子程序,又名为微线程 多线程/多进程 from threading import Thread 导入多线程模块 / multiprocessing im
2021-04-07 19:35:04 366 5
原创 数据分析Demo:广告点击数据分析
一、项目背景及目的 这是从天池大数据获取的一份淘宝平台的广告展示/点击数据,本次分析目的是从这些数据中发现某些规律或异常,从而给运营团队提出建议。 评价广告效果非常关键的指标就是广告的点击人数,可以反映一个广告有多少人愿意点击查看广告的内容,只有广告被点击,后续转化为购买的行为才会发生。广告上线后,由于不同人群对不同类别商品有着不同的偏好,在广告曝光数一定的条件下,点击率的高低就是决定一个广告能否被更多人注意到的因素,所以本次分析就针对点击率这一因素进行拆解分析。 二、分析思路 从广告、用户两个维度切入分析
2021-05-06 23:58:59 1355
原创 2021年第一份教程:网页数据爬虫抓包入门教程下
网页数据抓包入门教程下 首先非常感谢大家的肯定,我也非常高兴这次分享的知识能帮助到大家,我尽力写的详细且简单明了,让各位看官能看了以后有所收获;今天就是最后一小节了,多线程或多进程操作。 为什么网络数据采集要用爬虫? 我们操控计算机,访问一个又一个网页,需要采集大量的数据保存到文件;众所周知涉及到网络、磁盘IO的任务都是IO密集型任务,他们CPU资源消耗很少,基本上我们访问网页和保存的时候,大部分时间都在等待IO操作完成。所以我们可以在爬取网页时,一个页面在等待,我们就在它等待的时候再去打开其他页面,各去做
2021-01-15 17:36:19 299
原创 2021年第一份教程:网页数据爬虫抓包入门教程中
网页数据抓包入门教程中 前面我们简单的了解了一个页面的构成,知道了一个网页基本的构成方式,接下来我们进行二阶段学习,数据的抓取 2.1 在此之前,我们需要了解一个爬虫协议,通过查看爬虫协议,我们能了解到这个网站哪些人可以爬,哪些数据可以爬,在主站网址后面加/robots.txt就可以查看网站的爬虫协议,例如:我们输入http://baidu.com/robots.txt,拿到百度的爬虫协议,每组列表第一个为爬虫名(用户名),后面Disallow跟的表示这些文件路径不能爬。 2.2爬虫代码学习: 首先在电脑安
2021-01-09 17:55:32 659 2
原创 2021年第一份教程:网页数据爬虫抓包入门教程上
网页数据抓包入门教程上 最近几年python火了,很多小伙伴业内的业外的都想要学一学,但是我在网上搜教程,发现知识都很散,没有一条系统的主线可以串联,导致很多小伙伴在自学的时候往往需要浪费很多不必要的时间;我一直认为,人的脑容量是有限的,我们不可能在短时间内掌握所有的知识,所以我们在短时间内只需要定一个小目标,然后把完成这个目标的大纲或者目录拿下来,最后需要用什么,再跟随目录去学习,掌握需要用到的内容,这样才能最大化自己大脑算力的利用率。 这一次我想要系统的把爬虫讲一讲;作为入门后学习的第
2021-01-09 12:00:26 2097 10
原创 python装饰器
1.什么是装饰器 作用:装饰器是用来给函数添加功能 本质:就是一个函数(实参高阶函数+返回值高阶函数+糖语法) 用法(套路): def 函数名1(参数1): def 函数名2(): 新增功能的代码 调用原函数的代码: 参数1() return 函数名2 说明: 函数名1 - 装饰器的名称,根据新增的功能来命名 参数1 - 需要添加功能的函数(原函数), 一般命名成f、fn 函数名2 - 添加完功能的新函数的函数名, new_f、new_fn 用法(套路): def 函数名1(参数1): def
2020-12-23 20:41:15 62
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人