网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
前言
前段时间写了个爬虫,抓取了b站视频的弹幕——张大仙弹幕统计,仙友们来看看有没有你的弹幕吧!,最近经常写网络编程的脚本,就想好好学一下requests库常用的部分内容。另外,中文版的翻译一言难尽,建议看英文版。
中文文档首页
在读本文前,你需要了解http及https协议,如果你还不了解,可以查看:网络-http协议学习笔记(消息结构、请求方法、状态码等)
安装
pip install requests
请求
GET请求
函数
get(url, params=None, **kwargs)
参数
url:请求的url
params:请求时的参数
代码
def Get():
payload = {"lady": "killer", "key": "9"}
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko)\
Chrome/52.0.2743.116 Safari/537.36'
}
req = requests.get(url=URL_GET, params=payload, headers=headers)
print("url:", req.url)
print("状态码:", req.status_code)
print("cookies", req.cookies)
print("text:", req.text)
print("json:", req.json())
req.close()
结果
url: http://httpbin.org/get?lady=killer&key=9
状态码: 200
cookies <RequestsCookieJar[]>
text: {
“args”: {
“key”: “9”,
“lady”: “killer”
},
“headers”: {
“Accept”: “*/*”,
“Accept-Encoding”: “gzip, deflate”,
“Host”: “httpbin.org”,
“User-Agent”: “Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36”,
“X-Amzn-Trace-Id”: “Root=1-5f8450e4-30d63b07549e5df637b48d4d”
},
“origin”: “59.64.129.128”,
“url”: “http://httpbin.org/get?lady=killer&key=9”
}json: {‘args’: {‘key’: ‘9’, ‘lady’: ‘killer’}, ‘headers’: {‘Accept’: ‘*/*’, ‘Accept-Encoding’: ‘gzip, deflate’, ‘Host’: ‘httpbin.org’, ‘User-Agent’: ’
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36’, ‘X-Amzn-Trace-Id’: ‘Roo
t=1-5f8450e4-30d63b07549e5df637b48d4d’}, ‘origin’: ‘59.64.129.128’, ‘url’: ‘http://httpbin.org/get?lady=killer&key=9’}
实际访问的url已经添加了参数,也就是说,你可以不使用params参数,而是直接在url上面添加。
状态码请查看上面的文章
text是请求的结果
json格式是比较常用的
浏览器访问
POST请求
函数
post(url, data=None, json=None, **kwargs)
url:请求的url
data:请求时的数据,字典、元组列表、字节或类似文件
json:json数据
代码
def Post():
data = {'bupt': 'beijing university of posts and communication', 'age': '65'}
req = requests.post(URL_POST, data=data)
print("url:", req.url)
print("状态码:", req.status_code)
print("cookies", req.cookies)
print("text:", req.text)
print("json:", req.json())
req.close()
结果
url: http://httpbin.org/post
状态码: 200
cookies <RequestsCookieJar[]>
text: {
“args”: {},
“data”: “”,
“files”: {},
“form”: {
“age”: “65”,
“bupt”: “beijing university of posts and communication”
},
“headers”: {
“Accept”: “*/*”,
“Accept-Encoding”: “gzip, deflate”,
“Content-Length”: “57”,
“Content-Type”: “application/x-www-form-urlencoded”,
“Host”: “httpbin.org”,
“User-Agent”: “python-requests/2.23.0”,
“X-Amzn-Trace-Id”: “Root=1-5f845f63-5103e9761cd94b3b1c9905f3”
},
“json”: null,
“origin”: “59.64.129.128”,
“url”: “http://httpbin.org/post”
}json: {‘args’: {}, ‘data’: ‘’, ‘files’: {}, ‘form’: {‘age’: ‘65’, ‘bupt’: ‘beijing university of posts and communication’}, ‘headers’: {‘Accept’: ‘*/*’, ‘Accept-Encodin
g’: ‘gzip, deflate’, ‘Content-Length’: ‘57’, ‘Content-Type’: ‘application/x-www-form-urlencoded’, ‘Host’: ‘httpbin.org’, ‘User-Agent’: ‘python-requests/2.23.0’, ‘X-Amzn
-Trace-Id’: ‘Root=1-5f845f63-5103e9761cd94b3b1c9905f3’}, ‘json’: None, ‘origin’: ‘59.64.129.128’, ‘url’: ‘http://httpbin.org/post’}
高级
有的时候我们往往需要登录才有权限发送请求,而账户信息一般会保存在Cookie中。
cookies设置
可以抓包获得cookie
也可以通过F12,在控制台输入document.cookie来获得。
浏览器查看
代码
def Get_with_cookie():
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko)\
Chrome/52.0.2743.116 Safari/537.36'
}
cookies = {'BIDUPSID': 'BE00784DEDAD866ECD4C82326FD62EAB', ' PSTM': '1554688108', ' MCITY': '-%3A',
' ispeed_lsm': '0', ' BAIDUID': '1588105DA2B8508F2F85540F7FC96277:FG', ' H_PS_PSSID': '',
' BDRCVFR[NPt2Vg_wYt_]': 'mk3SLVN4HKm', ' delPer': '0', ' BD_CK_SAM': '1', ' PSINO': '2',
' BD_UPN': '13314752', ' sug': '3', ' sugstore': '0', ' ORIGIN': '0', ' bdime': '0',
' H_PS_645EC': '6c6bmTTznHXowtzIVMcI9ybyItnOQcEc5yoROOp7O7Q4a0FQWI7CHETQrdW05P4yg3zuSFV3',
' BA_HECTOR': '24a4800l810k25k1ur1fo8obe0j', ' BDORZ': 'FFFB88E999055A3F8A630C64834BD6D0'}
req = requests.get(URL_COOKIE, headers=headers, cookies=cookies)
print("url:", req.url)
print("状态码:", req.status_code)
print("cookies", req.cookies)
with open('ask_baidu_requets.html', 'w',encoding='utf-8') as f:
f.write(req.text)
req.close()
控制台输出
如何自学黑客&网络安全
黑客零基础入门学习路线&规划
初级黑客
1、网络安全理论知识(2天)
①了解行业相关背景,前景,确定发展方向。
②学习网络安全相关法律法规。
③网络安全运营的概念。
④等保简介、等保规定、流程和规范。(非常重要)
2、渗透测试基础(一周)
①渗透测试的流程、分类、标准
②信息收集技术:主动/被动信息搜集、Nmap工具、Google Hacking
③漏洞扫描、漏洞利用、原理,利用方法、工具(MSF)、绕过IDS和反病毒侦察
④主机攻防演练:MS17-010、MS08-067、MS10-046、MS12-20等
3、操作系统基础(一周)
①Windows系统常见功能和命令
②Kali Linux系统常见功能和命令
③操作系统安全(系统入侵排查/系统加固基础)
4、计算机网络基础(一周)
①计算机网络基础、协议和架构
②网络通信原理、OSI模型、数据转发流程
③常见协议解析(HTTP、TCP/IP、ARP等)
④网络攻击技术与网络安全防御技术
⑤Web漏洞原理与防御:主动/被动攻击、DDOS攻击、CVE漏洞复现
5、数据库基础操作(2天)
①数据库基础
②SQL语言基础
③数据库安全加固
6、Web渗透(1周)
①HTML、CSS和JavaScript简介
②OWASP Top10
③Web漏洞扫描工具
④Web渗透工具:Nmap、BurpSuite、SQLMap、其他(菜刀、漏扫等)
恭喜你,如果学到这里,你基本可以从事一份网络安全相关的工作,比如渗透测试、Web 渗透、安全服务、安全分析等岗位;如果等保模块学的好,还可以从事等保工程师。薪资区间6k-15k
到此为止,大概1个月的时间。你已经成为了一名“脚本小子”。那么你还想往下探索吗?
如果你想要入坑黑客&网络安全,笔者给大家准备了一份:282G全网最全的网络安全资料包评论区留言即可领取!
7、脚本编程(初级/中级/高级)
在网络安全领域。是否具备编程能力是“脚本小子”和真正黑客的本质区别。在实际的渗透测试过程中,面对复杂多变的网络环境,当常用工具不能满足实际需求的时候,往往需要对现有工具进行扩展,或者编写符合我们要求的工具、自动化脚本,这个时候就需要具备一定的编程能力。在分秒必争的CTF竞赛中,想要高效地使用自制的脚本工具来实现各种目的,更是需要拥有编程能力.
如果你零基础入门,笔者建议选择脚本语言Python/PHP/Go/Java中的一种,对常用库进行编程学习;搭建开发环境和选择IDE,PHP环境推荐Wamp和XAMPP, IDE强烈推荐Sublime;·Python编程学习,学习内容包含:语法、正则、文件、 网络、多线程等常用库,推荐《Python核心编程》,不要看完;·用Python编写漏洞的exp,然后写一个简单的网络爬虫;·PHP基本语法学习并书写一个简单的博客系统;熟悉MVC架构,并试着学习一个PHP框架或者Python框架 (可选);·了解Bootstrap的布局或者CSS。
8、超级黑客
这部分内容对零基础的同学来说还比较遥远,就不展开细说了,附上学习路线。
网络安全工程师企业级学习路线
如图片过大被平台压缩导致看不清的话,评论区点赞和评论区留言获取吧。我都会回复的
视频配套资料&国内外网安书籍、文档&工具
当然除了有配套的视频,同时也为大家整理了各种文档和书籍资料&工具,并且已经帮大家分好类了。
一些笔者自己买的、其他平台白嫖不到的视频教程。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!