day21-学习总结

东方财富网站:https://stock.eastmoney.com/(直接爬取)

和讯股票:http://stock.hexun.com/ (直接爬取)

boss直聘:https://www.zhipin.com/gongsi/ (直接爬取)

qq音乐:https://y.qq.com/ (直接爬取)

网易云音乐:https://music.163.com/ (直接爬取)

微博:https://weibo.com/newlogin?tabtype=weibo&gid=102803&url=https%3A%2F%2Fweibo.com%2F (直接爬取)

C站:http://www.clicli.co/ (直接爬取)

G站:https://www.jiligamefun.com/ (直接爬取)

咸鱼:https://2.taobao.com/ (直接爬取)

唯品会: https://www.vip.com/?wq=1 (直接爬取)

百度文库:https://wenku.baidu.com/ (直接爬取)

英雄联盟攻略中心:https://101.qq.com/?ADTAG=cooperation.glzx.web#/hero-rank-double?tier=200 (直接爬取)

爱奇艺: https://www.iqiyi.com/ (直接爬取)

携程:https://www.ctrip.com/?allianceid=1035815&sid=1668993 (直接爬取)

亚马逊:https://www.amazon.cn/?tag=tsstart-23 (直接爬取)

优酷:https://www.youku.com/ (直接爬取)

天猫:https://www.tmall.com/?pid=ts (直接爬取)

元神:https://ys.mihoyo.com/ (直接爬取)

A站:https://www.acfun.cn/ (浏览器伪装)

喜马拉雅: https://www.ximalaya.com/ (浏览器伪装)

学习总结:

# 1. Python系统环境
"""
安装python就是为了计算机提供运行Python程序的环境(这个环境叫系统环境)，
一个Python环境中包含Python解释器和已经安装过的所有第三方库。
"""
# 2. 虚拟环境
"""
基于系统环境创建的其他的Python环境。
如果没有虚拟环境只有一个系统环境，那么所有的第三方库就只能放在一起，这样容易突出，而且无法保存同一个第三方库的多个版本。
如果使用虚拟环境就可以让不同类型或者不同相同拥有自己专属的运行环境。

关于创建虚拟环境的建议：
1）学习的时候：一类项目创建一个虚拟环境
2）实际工作的时候：一个项目创建一个虚拟环境
"""

# 3. 新建虚拟环境
# 1）用pycharm新建虚拟环境
"""
方法一：新建项目的时候，点击 New environment using Virtualenv  （一个项目一个虚拟环境）
方法二：打开设置界面  ->  Project -> Python Interpreter -> ...
"""
# 2）用指令新建

import requests


# 1. 爬top250
# headers = {
   
#     'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'
# }
# response = requests.get('https://movie.douban.com/top250', headers=headers)
# print(response.text)


# 2. 爬贝壳租房
response = requests.get('https://cd.zu.ke.com/zufang')
print(response.text)


# 3. 爬知乎
# headers = {
   
#     'cookie': '_zap=b7912ec1-8e24-4d72-81cd-8fa2a2b5f78f; d_c0="AECfz77blxSPTv9pswdcr3xSHE0eCEMj0Dc=|1646568427"; _xsrf=qy8EtuCtpOGgIUmA3g0qSi2edFqOUIBw; __snaker__id=kvuiOSuliPGkosHY; gdxidpyhxdE=cKoceLaHQZDBgVsHWUm4x91aenZN1TJZwcepuPoNLZxY4n5N4o2wHwpYwi2g2Szyjhk62Zk2Ycnn3by1hQMxw2zRUZn%2Batz%2B9WB6%2B9iAJxyAdql7T0n%5Cc6RQhR1Bw0VDt8PXsIgpEwUmGk%2FsTE7TyRdYDAIzf6tRCEb%2BuQMDIgf%5Cvis2%3A1647227434231; _9755xjdesxxd_=32; YD00517437729195%3AWM_NI=VL%2FmRhQNRsih5x7jwAv9CMg1NNBdu9P%2FhVa%2B6vZym7V0SpkuTXEZyk6QnpB2zJidtBCj7UwYxcIEuW4kT2Fs%2FgfPJIkA65d02U7Z4UVZ0X7Ddp0TIofRY2ltngrCqIZcWHk%3D; YD00517437729195%3AWM_NIKE=9ca17ae2e6ffcda170e2e6ee97d266aaaba6a6d47d87b48ab2d84f878a8fabf87bfb9aa185f3618da7fda7c62af0fea7c3b92a9694e18ed16493929e94ec64f7a8f98bf64bb6e78daee63b8e928e85f83394f1a8b7e421f6aa969af03d96f09d91ea7f98888bbbfc61f68fa291c13aba96a785f74a81b6f9b6f653bcbd87a6f85df8b59cd3c579edb9aab1c943a99ffad6e73cf28bf9bbb75f968600b9b650a8b000b5cc65a68e97d3ef80aeb9bea4f4439abd99a9ea37e2a3; YD00517437729195%3AWM_TID=pJYUp8Detk5AUUUUFFc6upRtNshfmnQX; captcha_session_v2="2|1:0|10:1647226538|18:captcha_session_v2|88:K3FHSUEwVGRlUjZHeE1yYXRhd2FkOE5SdENvaGpOVWNSYnhUTFozRWprNVI3NTFOY2hVbUxMcFV2clpETS9ONw==|75a5495f53059383734840353dd2faf638b430ca219532384d19d4f84ee1dabc"; captcha_ticket_v2="2|1:0|10:1647227059|17:captcha_ticket_v2|704:eyJ2YWxpZGF0ZSI6IkNOMzFfclppa3p3YUl6RmFjNHFySU9tcXU4aF9DdHRIQVVBanpJZEE0a29mcGQuck1Td0phUFFjblFkUHRYRE11NzRsZlVvLklZQ21UTGF0X245elh2ajZIdm9aaWc0cEtYaGlOV3lEU2tQQ1dVdHk1UDdWeXJwRjZjYmdzWTVQX20yY3VwZHFsNV9McDREWENHWHZlUFlwdzc1WThNQkh5OGlBS0lRUUlOOVRqNlppSlZwR0E4aEFmMklfbWJLU2FmcXlJYXptNlpnVnpZS0FHeTFDLlAxY01qZ194NWxKdHpBOTVFcloueERvUDZKcjVVQTlDRllxWS5feUVldXRiZmtmODV0c3F3OFVUMjg2d3dicnBnRnpzLWNMMWV4RW93WHZlX056WlNGSzAuWGYwR01QSGQyTkMxTlV4TFpCVU1JYlhhWEdud0p3Mm4yc2xNZmlGV3R3aU9Oa2lSY2dSaE5uLmFrSHdCS2JaRS1zeUpnazk0Y0JmZHQ3OGQwalcuMExqNHo2UldlN3BMLjdMUnR5QTZILVFObC5SZmhGejBEUjZDT0RwMU53U0dhejhJSkt3amdXMnlsRlZrUVVuZUlwMS5iVVQxUmRaTFc0ampmQmpsdXp4bloxbFMxMFJoeFFiY09JSVlNTFlhOTBxanVtbXB3U21JaHpyWkNOMyJ9|83578e436c3ba4ce951d646b486c40235463ce0ef36549035133eafcf673b951"; z_c0="2|1:0|10:1647227093|4:z_c0|92:Mi4xaW5CWUdRQUFBQUFBUUpfUHZ0dVhGQ1lBQUFCZ0FsVk4xZjRiWXdDTDh5WDhCZ3p1OXRWYUM1bjJTdlFldUpOam1B|05d026c9afb59cf9473fee0aa1932187679165d1f2087773858b498e59fd43b5"; unlock_ticket="ADAc3rNA2xAmAAAAYAJVTd23LmLgVf9iSIfxIq9hAeRn6vlsyDKv8g=="; q_c1=51a6e1898c4d46a594865b3db1dd3e95|1647227093000|1647227093000; NOT_UNREGISTER_WAITING=1; tst=r; SESSIONID=X18ufN7wHKFtbGUJju9z25azK9KyuqsGMNJpS7FXDeH; KLBRSID=b33d76655747159914ef8c32323d16fd|1647227133|1647226530',
#     # 浏览器反爬的反反爬
#     'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'
# }
# response = requests.get('https://www.zhihu.com/', headers=headers)
# print(response.text)

<!--
html就是通过不同的标签来给网页提供不同的内容
1. 标签语法
1）双标签：<标签名 属性名1="属性值1" 属性名2="属性值2" ...>标签内容</标签名>
2）单标签：<标签名 属性名1="属性值1" 属性名2="属性值2" ...> 或者  <标签名 属性名1="属性值1" 属性名2="属性值2" .../>

说明：
标签名   -  不由程序员自己命名，而是由html定死的（有哪些标签；不同的标签是干嘛用的）
属性  - 属性名="属性值"的形式存在，属性值必须在双引号中，多个属性用空格隔开
标签内容 - 标签内容可是任何内容，包括：纯文字、其他一个或者多个标签


2.常见标签

-->

<!DOCTYPE html>
<html lang="en">
    <head>
        <!--设置网页编码方式-->
        <meta charset="UTF-8">

        <!--设置网页标题-->
        <title>百度一下，你就知道</title>

        <!--设置网页图标
            rel  -  icon， 固定写法
            href  -  图片地址
        -->
        <link rel="icon" href="files/baidu.jpeg">

    </head>

    <body>


    </body>
</html>
<!--
html就是通过不同的标签来给网页提供不同的内容
1. 标签语法
1）双标签：<标签名 属性名1="属性值1" 属性名2="属性值2" ...>标签内容</标签名>
2）单标签：<标签名 属性名1="属性值1" 属性名2="属性值2" ...> 或者  <标签名 属性名1=