女友忽然欲买文胸,但不知何色更美,Python解之【全程实战,议藏之】

还有兄弟不知道网络安全面试可以提前刷题吗?费时一周整理的160+网络安全面试题,金九银十,做网络安全面试里的显眼包!

王岚嵚工程师面试题(附答案),只能帮兄弟们到这儿了!如果你能答对70%,找一个安全工作,问题不大。

对于有1-3年工作经验,想要跳槽的朋友来说,也是很好的温习资料!

【完整版领取方式在文末!!】

93道网络安全面试题

内容实在太多,不一一截图了

黑客学习资源推荐

最后给大家分享一份全套的网络安全学习资料,给那些想学习 网络安全的小伙伴们一点帮助!

对于从来没有接触过网络安全的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。

😝朋友们如果有需要的话,可以联系领取~

1️⃣零基础入门
① 学习路线

对于从来没有接触过网络安全的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。

image

② 路线对应学习视频

同时每个成长路线对应的板块都有配套的视频提供:

image-20231025112050764

2️⃣视频配套工具&国内外网安书籍、文档
① 工具

② 视频

image1

③ 书籍

image2

资源较为敏感,未展示全面,需要的最下面获取

在这里插入图片描述在这里插入图片描述

② 简历模板

在这里插入图片描述

因篇幅有限,资料较为敏感仅展示部分资料,添加上方即可获取👆

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以点击这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

}

url = ‘https://club.jd.com/comment/productPageComments.action?’
page_text = requests.get(url=url, headers=headers, params=params).text
page_text


![在这里插入图片描述](https://img-blog.csdnimg.cn/b01f614456624229a99ccbdf78e5dd53.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBARHJlYW3kuLZLaWxsZXI=,size_20,color_FFFFFF,t_70,g_se,x_16)


#### 数据处理


数据是获取了,但前面多了一些没用的字符(后面也有),很明显不能直接转成 `json` 格式,需要处理一下。



page_text = page_text[20: len(page_text) - 2]
data = json.loads(page_text)
data


![在这里插入图片描述](https://img-blog.csdnimg.cn/e9aa3992c0d444c2adcdc72181beb496.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBARHJlYW3kuLZLaWxsZXI=,size_20,color_FFFFFF,t_70,g_se,x_16)


现在数据格式处理好了,可以上手解析数据,提取我们所需要的部分。这里我们只提取 `id`(评论id)、`color`(产品颜色)、`comment`(评价)、`time`(评价时间)。



import pandas as pd

df = pd.DataFrame({‘id’: [],
‘color’: [],
‘comment’: [],
‘time’: []})
for info in data[‘comments’]:
df = df.append({‘id’: info[‘id’],
‘color’: info[‘productColor’],
‘comment’: info[‘content’],
‘time’: info[‘creationTime’]},
ignore_index=True)
df


![在这里插入图片描述](https://img-blog.csdnimg.cn/72bbdec709dc4377bac7171b9e144b42.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBARHJlYW3kuLZLaWxsZXI=,size_20,color_FFFFFF,t_70,g_se,x_16)


  

### 翻页操作


那么接下来就要寻找翻页的关键了,下面用同样的方法获取第二页、第三页的url,进行对比。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/ce73ba7a33bb4eeab3f255794ec32b13.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBARHJlYW3kuLZLaWxsZXI=,size_20,color_FFFFFF,t_70,g_se,x_16)  
 简单分析一下,`page` 字段是页数,翻页会用到,值得注意的是 `sortType`,字面意思是排序类型,猜测排序方式可能是:热度、时间等。经过测试发现 `sortType=5` 肯定不是按时间排序的,应该是热度,我们要获取按时间排序的,这样后期比较好处理,然后试了几个值,最后确定当 `sortType=6` 时是按评价时间排序。图中最后还有个 `rid=0` ,不清楚什么作用,我爬取两个相同的url(一个加 `rid` 一个不加),测试结果是相同的,所以不用管它。


  

### 撸代码


先写爬取结果:开始想爬 10000 条评价,结果请求过多IP凉了,从IP池整了丶代理,也没顶住,拼死拼活整了1000条,时间不够,如果时间和IP充足,随便爬。经过测试发现这个IP封锁时间不会超过一天,第二天我跑了一下也有数据。下面看看主要的代码。


#### 主调度函数


设置爬取的 `url` 列表,`windows` 环境下记得限制并发量,不然报错,将爬取的任务添加到 `tasks` 中,挂起任务。



async def main(loop):
# 获取url列表
page_list = list(range(0, 1000))
# 限制并发量
semaphore = asyncio.Semaphore(500)
# 创建任务对象并添加到任务列表中
tasks = [loop.create_task(get_page_text(page, semaphore)) for page in page_list]
# 挂起任务列表
await asyncio.wait(tasks)


#### 页面抓取函数


抓取方法和上面讲述的基本一致,只不过换成 `aiohttp` 进行请求,对于SSL证书的验证也已设置。程序执行后直接进行解析保存。



async def get_page_text(page, semaphore):
async with semaphore:
headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.54 Safari/537.36’
}
params = {
‘callback’: ‘fetchJSON_comment98’,
‘productId’: ‘35152509650’,
‘score’: ‘0’,
‘sortType’: ‘6’,
‘page’: f’{page}',
‘pageSize’: ‘10’,
‘isShadowSku’: ‘0’,
# ‘rid’: ‘0’,
‘fold’: ‘1’
}
url = ‘https://club.jd.com/comment/productPageComments.action?’
async with aiohttp.ClientSession(connector=aiohttp.TCPConnector(ssl=False), trust_env=True) as session:
while True:
try:
async with session.get(url=url, proxy=‘http://’ + choice(proxy_list), headers=headers, params=params,
timeout=4) as response:
# 遇到IO请求挂起当前任务,等IO操作完成执行之后的代码,当协程挂起时,事件循环可以去执行其他任务。
page_text = await response.text()
# 未成功获取数据时,更换ip继续请求
if response.status != 200:
continue
print(f"第{page}页爬取完成!")
break
except Exception as e:
print(e)
# 捕获异常,继续请求
continue
return parse_page_text(page_text)


#### 解析保存函数


将 json 数据解析以追加的形式保存到 csv 中。



def parse_page_text(page_text):
page_text = page_text[20: len(page_text) - 2]
data = json.loads(page_text)

df = pd.DataFrame({'id': [],
                   'color': [],
                   'comment': [],
                   'time': []})
for info in data['comments']:
    df = df.append({'id': info['id'],
                    'color': info['productColor'],
                    'comment': info['content'],
                    'time': info['creationTime']},
                   ignore_index=True)

header = False if Path.exists(Path('评价信息.csv')) else True
df.to_csv('评价信息.csv', index=False, mode='a', header=header)
print('已保存')

  

### 可视化


#### 颜色分布


排名前三分别是灰粉色、黑色、裸感肤色,多的不说,自己体会哈。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/cc5b52d6b2274a8cb727a0e7ff54d14e.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBARHJlYW3kuLZLaWxsZXI=,size_20,color_FFFFFF,t_70,g_se,x_16)


#### 评价词云图


可以看出评价的关键词大多是对上身感觉的一些描述,穿着舒服当然是第一位的~  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/dd80d1f445ff41bfad212dfce0d086d4.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBARHJlYW3kuLZLaWxsZXI=,size_19,color_FFFFFF,t_70,g_se,x_16#pic_center)




---


完结撒花,该向女朋友汇报工作了~






本人从事网路安全工作12年,曾在2个大厂工作过,安全服务、售后服务、售前、攻防比赛、安全讲师、销售经理等职位都做过,对这个行业了解比较全面。


最近遍览了各种网络安全类的文章,内容参差不齐,其中不伐有大佬倾力教学,也有各种不良机构浑水摸鱼,在收到几条私信,发现大家对一套完整的系统的网络安全从学习路线到学习资料,甚至是工具有着不小的需求。


最后,我将这部分内容融会贯通成了一套282G的网络安全资料包,所有类目条理清晰,知识点层层递进,需要的小伙伴可以点击下方小卡片领取哦!下面就开始进入正题,如何从一个萌新一步一步进入网络安全行业。


![](https://img-blog.csdnimg.cn/img_convert/311903982dea1d8a5d2c98fc271b5b41.jpeg)



### 学习路线图


 其中最为瞩目也是最为基础的就是网络安全学习路线图,这里我给大家分享一份打磨了3个月,已经更新到4.0版本的网络安全学习路线图。


相比起繁琐的文字,还是生动的视频教程更加适合零基础的同学们学习,这里也是整理了一份与上述学习路线一一对应的网络安全视频教程。


![](https://img-blog.csdnimg.cn/img_convert/1ddfaf7dc5879b1120e31fafa1ad4dc7.jpeg)


#### 网络安全工具箱


当然,当你入门之后,仅仅是视频教程已经不能满足你的需求了,你肯定需要学习各种工具的使用以及大量的实战项目,这里也分享一份**我自己整理的网络安全入门工具以及使用教程和实战。**


![](https://img-blog.csdnimg.cn/img_convert/bcd1787ce996787388468bb227d8f959.jpeg)


#### 项目实战


最后就是项目实战,这里带来的是**SRC资料&HW资料**,毕竟实战是检验真理的唯一标准嘛~


![](https://img-blog.csdnimg.cn/img_convert/35fc46df24091ce3c9a5032a9919b755.jpeg)


#### 面试题


归根结底,我们的最终目的都是为了就业,所以这份结合了多位朋友的亲身经验打磨的面试题合集你绝对不能错过!

**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友,可以点击这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值