Python 爬虫笔记

最新推荐文章于 2023-04-06 18:30:00 发布
最新推荐文章于 2023-04-06 18:30:00 发布
阅读量266 收藏
点赞数
分类专栏： pyhon爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_45136861/article/details/110391860
版权
本文介绍了在PyCharm中遇到包下载问题时如何更换源，并详细讲述了如何处理HTTP Error 418，包括通过获取和随机设置User-Agent来绕过反爬策略，以及使用fake-useragent包的方法。
摘要由CSDN通过智能技术生成

Python 爬虫

Pycharm引入包

在这里插入图片描述
在这里插入图片描述
但是可能会出现下载过慢 或者和我一样根本搜索不到的问题那就进行换源
在这里插入图片描述
在这里插入图片描述

建议多加几个，因为也很容易下载失败，添加完了以后，可以重启一下pycharm，再次利用pycharm下载，搜索包的时候要看包所对应的换源之后的地址
在这里插入图片描述

http://mirrors.aliyun.com/pypi/simple/
http://pypi.douban.com/simple/
https://pypi.mirrors.ustc.edu.cn/simple/
http://pypi.mirrors.ustc.edu.cn/simple/
https://pypi.tuna.tsinghua.edu.cn/simple/

HTTP Error 418错误

关于代理服务器的方法

获取User-Agent

打开你要爬虫的网页
按键盘的F12或手动去浏览器右上角的“更多工具”选项选择开发者工具
按键盘的F5刷新网页
点击Network，再点击Doc
点击Headers，查看Request Headers的User-Agent字段，直接复制
将刚才复制的User-Agent字段构造成字典形式


                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  一支海棠
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  1
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
python爬虫笔记.zip

				
			

			

				

					01-04
				

			

		

		

			
				
Python是一种解释型的、面向对象的、带有动态语义的高级程序设计语言。它是由荷兰人吉多·罗萨姆于1989年发布的，第一个公开发行版发行于1991年。Python注重解决问题的方法，而不是语法和结构。它被广泛应用于各个...

			
		

	



                

              
                



	

		

			

				
					
爬虫2 字典传参，User-Agent使用，handler处理器，代理IP

				
			

			

				

					Alex抱着爆米花的博客
				

				

					12-18
					
					312
					
				

			

		

		

			
				
get传参

汉字报错 :解释器器ascii没有汉字 url汉字转码

urllib.parse.quote safe=“string.printtable”
2. 字典传参
urllib.parse.urlencode()
import urllib.request
import urllib.parse
import string


def get_params():
    url = "http://www.baidu.com/s?"

    params = {
        "wd":"中

			
		

	



                


  
              

                


	

		

			

				
					
使用python爬取重庆二手房的信息，得到的数据写到csv文件

				
			

			

				

					weixin_44614751的博客
				

				

					12-18
					
					2595
					
				

			

		

		

			
				
实验目的：用python语言解决实际问题。
实验要求：独立完成，并上机实践
实验内容：
分析某房产网站，利用python程序爬取重庆市二手房信息，至少爬取2万条数据以上。并且把该二手房信息存入一个Excel文件或csv文件。
实现过程：
1、导入的包
import requests
from lxml import etree
import re
import csv
说明：requests 是用...

			
		

	





	

		

			

				
					
User-Agent||如何获取一个网页的User-Agent？图文演示，耐心教你~~

				
			

			

				

					Inochigohan的博客
				

				

					10-07
					
					2万+
					
				

			

		

		

			
				
前言：

    博主是一个最近刚刚入门数据爬虫的小小小小白（请多多指教，乖巧.jpg），很多东西都是实践一遍才写的博客（所以原理什么的也不是很深入(/▽＼)，虽然知识都很零碎，不过我相信慢慢积累还是有用滴~

    各位看客觉得有用就好，没用请忽略（love ＆ peace(✿◕ ‿  ◕✿)


一、为啥要获取网页User-Agent？

    当我们自己用Python编写代码进行网页爬虫时，会默认向服务器发送一个Python爬取请求，但一般网站是禁止爬虫访问的（HTT...

			
		

	



		

			
		



	

		

			

				
					
常用User-Agent大全

				
			

			

				

					qq_41680042的博客
				

				

					06-02
					
					2万+
					
				

			

		

		

			
				
原文



之前学习北京理工嵩天老师的《Python网络爬虫与信息提取》时，爬取亚马逊的一款图书的详细信息时出现以下错误：

![Upload 亚马逊爬虫.PNG failed. Please try again.]

查看请求信息，发现我们一般写的爬虫会默认告诉服务器自己发送了一个Python爬取请求，而一般网站是不允许被爬虫访问的，估计是因为会涉及到商业问题。最后，通过更改User-Agent字段就可以轻易骗过该网站。





那么User-Agent到底是什么呢？
User-Agent会告诉网站..

			
		

	





	

		

			

				
					
Python网络爬虫封锁限制的几种方法

				
			

			

				

					大数据开发、JAVA开发、人工智能AI
				

				

					02-08
					
					8664
					
				

			

		

		

			
				
在爬虫时，我们不可避免的会遇到网页的反爬封锁，所以就有了爬虫的攻防，在攻和守之间两股力量不断的抗衡。接下来就讲讲我在爬虫时遇到的一些问题，以及解决的方法。



第一种：封锁user-agent破解

user-agent时浏览器的身份标识，网站就是通过user-agent来确定浏览器类型的。当我们在请求时发现，通过get函数发送的请求返回的内容与在PC浏览器检查的不一样。就可以首先考虑在get函...

			
		

	





	

		

			

				
					
Python爬虫笔记！！！

				
			

			

				

					03-10
				

			

		

		

			
				
"Python爬虫笔记"  Python爬虫笔记是指使用Python语言来实现网络爬虫程序的技术笔记。爬虫程序可以模拟人类请求网站行为，自动请求网页、抓取数据，并使用一定的规则提取有价值的数据。  爬虫的实际例子包括搜索引擎...

			
		

	





	

		

			

				
					
python 爬虫学习笔记

				
			

			

				

					03-09
				

			

		

		

			
				
Python 爬虫学习笔记  本文将详细介绍 Python 爬虫学习笔记的知识点，涵盖爬虫基础、网络和前端基础、Requests 模块、请求头、GET 和 POST 请求、代理、Cookie 模拟登录、Quote 和 Unquote、登录和获取 Cookie、Post...

			
		

	





	

		

			

				
					
最牛逼的Python爬虫学习笔记

				
			

			

				

					08-28
				

			

		

		

			
				
最牛逼的Python爬虫学习笔记，非常不错的，强烈建议下载

			
		

	





	

		

			

				
					
python爬虫-mast笔记

				
			

			

				

					05-31
				

			

		

		

			
				
在本篇Python爬虫-mast笔记中，我们将深入探讨Python爬虫的基本概念、常用库和实战技巧，帮助你掌握这一强大的数据获取工具。  首先，Python之所以在爬虫领域广泛应用，得益于其简洁明了的语法和丰富的第三方库。...

			
		

	





	

		

			

				
					
常见浏览器user-agent表

				
			

			

				

					07-18
				

			

		

		

			
				
user-agent,http头中标明当前使用的浏览器及系统信息的字段.
可手动更改.
附件即为常见浏览器及操作系统所对应的user agent的列表.
常见的算很全了,会叫你震精的.

			
		

	





	

		

			

				
					
Python3网络爬虫教程4——UserAgent的使用(用户伪装)(附常用的UserAgent值清单)

				
			

			

				

					Python美丽星球--微信(Felixzfb)
				

				

					01-16
					
					1354
					
				

			

		

		

			
				
UserAgent: 用户代理，简称UA，属于headers的一部分，服务器通过UA来判断访问者的身份
常见的UA值，使用的时候可以直接复制粘贴，也可以用浏览器访问的时候抓包

UserAgent使用方法，参考以下实例：
**
常见UserAgent值如下
**
**
电脑端
**
chrome 
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/5...

			
		

	





	

		

			

				
					
python简单的爬虫

				
			

			

				

					lucky_jiexia的博客
				

				

					02-26
					
					258
					
				

			

		

		

			
				
学习完Python语法之后可以做一个简单的爬虫来练手，我学习Python用的是《Python编程：从入门到实践》这本书。先安装的Anaconda，从官网下载，百度有安装教程。IDE使用的PyCharm，百度有安装教程，使用激活码激活，激活码也是百度的。





关于Python爬虫，知乎有一个帖子，讲的是从零开始写Python爬虫，链接：https://zhuanlan.zhihu.com/...

			
		

	





	

		

			

				
					
User-agent大全

				
			

			

				

					会写Bug的攻城狮
				

				

					04-06
					
					4309
					
				

			

		

		

			
				
User-agent大全

			
		

	





	

		

			

				
					
常见浏览器User-Agent大全

				
			

			

				

					雪峰流云
				

				

					12-31
					
					5万+
					
				

			

		

		

			
				
下面是工作中需要用到的常见浏览器User-Agent字符串的收集整理，不断更新中。


Opera
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60
Opera/8.0 (Windows 

			
		

	





	

		

			

				
					
整理的User-Agent，希望有用的小伙伴拿去用

				
			

			

				

					LavaStrom
				

				

					04-07
					
					6264
					
				

			

		

		

			
				
整理的header，希望有用的小伙伴拿去用
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)
Mozilla...

			
		

	





	

		

			

				
					
时下流行的浏览器User-Agent大全

					
热门推荐

				
			

			

				

					肥宝的实验室
				

				

					03-10
					
					10万+
					
				

			

		

		

			
				
一、基础知识篇：
HttpHeader之User-Agent
UserAgent中文名为用户代理，是Http协议中的一部分，属于头域的组成部分，UserAgent也简称UA。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。通过这个标识，用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计；例如用手机访问谷歌和

			
		

	





	

		

			

				
					
User-Agent大全

				
			

			

				

					马行处的博客
				

				

					04-13
					
					4万+
					
				

			

		

		

			
				
一、基础知识篇：
Http Header之User-Agent
User Agent中文名为用户代理，是Http协议中的一部分，属于头域的组成部分，User Agent也简称UA。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。通过这个标 识，用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计；例如用手机访...

			
		

	





	

		

			

				
					
User-Agent大全,可直接复制到python代码里

				
			

			

				

					胡萧徒的博客
				

				

					01-02
					
					2万+
					
				

			

		

		

			
				

 这里面有超过50个 user-agent ,包含PC和移动端, 并且可以直接复制粘贴到python代码里.

此方法,是随机其中一个user-agent:



# -*-coding:utf-8 -*-

import random

# 返回一个随机的请求头 headers
def getheaders():
    # 各种PC端
    user_agent_list_2 = [
  ...

			
		

	





	

		

			

				
					
尚硅谷python爬虫笔记

					
最新发布

				
			

			

				

					07-07
				

			

		

		

			
				
尚硅谷的Python爬虫笔记通常会涵盖基础知识到实战技巧的内容。它可能会包括以下几个部分：

1. **Python基础**：教授如何安装并配置Python环境，以及常用的Python库如requests、BeautifulSoup或Scrapy的基本用法。

2. **HTML和CSS选择器**：讲解如何解析网页结构，理解如何通过XPath或CSS选择器定位需要的数据元素。

3. **网络请求**：介绍如何发送HTTP请求，获取网页内容，并处理可能出现的cookies、session等。

4. **数据抓取和解析**：演示如何从网页中提取信息，存储到CSV、JSON或数据库中。

5. **异常处理和反爬策略**：学习如何应对网站的反爬机制，如设置User-Agent、延时请求、代理IP等。

6. **实战项目**：提供一些实际案例，比如新闻抓取、商品信息获取、数据分析等，帮助学员应用所学知识。

7. **Python爬虫框架**：如果涉及到，还可能介绍Scrapy这类高级爬虫框架的使用方法。

如果你想进一步了解或学习Python爬虫，可以访问尚硅谷官网查看详细的课程大纲或购买相关的在线教程。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值