urllib练习 -pytohn


from urllib import request,parse,error
from http import cookiejar
import random
import ssl
import time
ssl._create_default_https_context = ssl._create_default_https_context
proxy_list = [
    {"http":"121.17.210.114:8060"},     #111
    {"http":"60.217.64.237:31923"},     #111
    {"https":"27.42.168.46:48919"},     #111
    {"https":"117.88.5.121:3000"},      #1111
    {"https":"101.254.136.130:8080"},
    {"https":"60.184.173.236:808"},     #111
    {"https":"117.64.237.19:1133"},        #1111
    {"http":"27.192.240.118:3128"},
    {"http":"121.232.148.206:9000"},
    {"https":"49.89.84.170:9999"},
    {"http":"218.66.253.146:8800"},
    {"http":"60.217.64.237:31923"}
]
agents = [
    {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36 Edg/81.0.416.45"},  #微软
    {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4094.1 Safari/537.36"}, #UC
    {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; rv,2.0.1) Gecko/20100101 Firefox/4.0.1"},
    {"User-Agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)"},   #搜狗
    {"User-Agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)"},   #360
    {"User-Agent": "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0"}  #IE9
]
cookie = cookiejar.CookieJar()  
cookie_handler = request.HTTPCookieProcessor(cookie)
http_handler = request.HTTPHandler()
https_handler = request.HTTPSHandler()
proxy = random.choice(proxy_list)
proxy_handler = request.ProxyHandler(proxy)
opener = request.build_opener(cookie_handler,http_handler,https_handler,proxy_handler)
#request.install_opener(opener)    #失败
def login(url):
    global agents
    agent = random.choice(agents)
    print("IP代理地址:{}".format(proxy))
    print("游览器身份:{}".format(agent))
    data = {
        "userName": "18835064513",
        "pwd": "syc19980923",
        "languages": "zh",
        "fromsite": "www.huawei.com",
        "authMethod": "password"
    }
    print("失败了???")
    time.sleep(1)
    print("1秒后:\n真的失败了........")
    data = parse.urlencode(data)
    req = request.Request(url, data=bytes(data,"utf-8"),headers=agent)

    res = opener.open(req)
    html = res.read().decode()
    print(html)
    print("-"*20)

    print("成功了!!!")
    print("IP代理地址:{}".format(proxy))
    print("游览器身份:{}".format(agent))

if __name__ == "__main__":
    try:
        start = time.time()
        url = "https://www.huawei.com/en/accounts/LoginPost"
        login(url)
        end = time.time()
        print("{}秒后:\n成功!!!!!!!!!!!!".format(end-start))

    except error.HTTPError as e:
        print(e)
    except Exception as e:
        print(e)
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
当然!我可以为您提供一些关于Python爬虫数据练习的建议。以下是一些常见的练习项目,您可以根据自己的兴趣和需求选择其中之一或多个进行练习: 1. 爬取网页数据:使用Python的 requests 库或者 scrapy 框架,爬取一个网页的内容,并将其保存到本地文件或者数据库中。 2. 数据解析:在上述爬取的网页数据中,解析出您感兴趣的信息。可以使用正则表达式、BeautifulSoup 或者 lxml 等库来解析 HTML 或 XML 数据。 3. 图片爬取:通过爬虫程序下载某个网站上的图片。您可以使用 requests 库下载图片,也可以使用第三方库如 urllib 或者 wget。 4. 数据存储:将爬取到的数据存储到数据库中,如 MySQL、SQLite 或者 MongoDB。您可以使用 Python 的数据库模块(如 pymysql、sqlite3 或 pymongo)来实现数据存储功能。 5. 动态网页爬取:对于使用 JavaScript 动态生成内容的网页,您可以使用 Selenium 或者 Pyppeteer 等工具来模拟浏览器行为,以获取动态生成的数据。 6. API 数据爬取:通过调用API接口获取数据。许多网站提供API接口供开发者获取数据,您可以使用 Python 的 requests 库来发送请求,并处理返回的 JSON 数据。 请注意,在进行爬虫练习时,务必遵守网站的爬虫规则和法律法规,不要对目标网站造成不必要的压力或侵犯其合法权益。 希望这些练习能帮助您提升Python爬虫的技能!如果您有任何进一步的问题,请随时提问。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

影修

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值