Python爬虫第一步之获取网页源代码

最新推荐文章于 2023-04-21 22:18:00 发布
最新推荐文章于 2023-04-21 22:18:00 发布
阅读量1.1w 收藏 4
点赞数 1
分类专栏： Python 文章标签： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hongjinlongno1/article/details/51648687
版权
本文介绍了Python2.7环境下使用Urllib库获取网页源代码的基础教程。内容包括解决Python文件中文编码问题，以及在Pycharm和notepad++中进行Python爬虫的初步实践。
摘要由CSDN通过智能技术生成

软件使用：Python2.7 +Pycharm，稍后使用Python3.5+notepad++试试

#coding: utf-8
import urllib

def getHtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html

html = getHtml("http://blog.sina.com.cn/")   

#coding = utf-8
import urllib

page =urllib.urlopen("http://blog.sina.com.cn/")
print page.read()

                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  红金龙-时光
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    4
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
如何在浏览器中查看网页的HTML源代码？

				
			

			

				

					爱编程的鱼的博客
				

				

					06-27
					
					2776
					
				

			

		

		

			
				
浏览html网页，查看其源代码，可以帮助我们了解该版网页的信息以及架构，每个浏览器都是允许用户查看他们访问的任何网页的HTML源代码的。以下编程狮小师妹就介绍几个常见浏览器的查看网页 HTML 源代码的方法。

			
		

	



                

              
                



	

		

			

				
					
python3爬虫第一步-爬取网页源码

				
			

			

				

					pear_home的博客
				

				

					07-16
					
					1250
					
				

			

		

		

			
				
python3爬虫第一步-爬去网页源码典型的源码百度一下就有了 
import urllib.request 
def  getHtml(url): 
    page=urllib.request.urlopen(url) 
    html=page.read() 
    return html 
html=getHtml(“https://www.cxy61.com/cxyteam/cxyt

			
		

	



                


  
              

                


	

		

			

				
					
Python获取网页源码

				
			

			

				

					一个程序员的成长之路。。。
				

				

					07-07
					
					4310
					
				

			

		

		

			
				
Py2k中直接导入urllib2，就可以读取网页源码。import urllib2
content = urllib2.urlopen('http://www.baidu.com/').read()
print(content)
Py3k中取消了urllib2，需要导入urllib.request，等同于Py2k中的urllib2,不过需要转码才能够正确显示。import urllib.reques

			
		

	





	

		

			

				
					
python爬取网页源代码怎么看_网页爬虫 - 【如图】python爬取的html页面和浏览器显示源码的结果不同...

				
			

			

				

					weixin_39637723的博客
				

				

					11-28
					
					470
					
				

			

		

		

			
				
问 题如图所示,用python爬取的html页面和浏览器显示的内容有些出入。照理说爬取的同样是服务器端静态的html页面，怎么会有不同呢？网站地址：点我点我爬虫源码：# -*-coding:UTF-8-*-from urllib.request import urlopenfrom bs4 import BeautifulSouphtml = urlopen("http://www.pythons...

			
		

	



		

			
		



	

		

			

				
					
Python爬虫基础-如何获取网页源代码

				
			

			

				

					独木不成林，单弦不成音。
				

				

					04-21
					
					4278
					
				

			

		

		

			
				
《100天精通Python》专栏，最详细的Python入门到精通教程；理论篇基础知识讲解构建体系框架、实践篇Python黑科技学以致用。https://blog.csdn.net/weixin_39032019/category_12263598.html

			
		

	





	

		

			

				
					
python初步爬取网页源码，以gbk和utf-8网页为例

				
			

			

				

					吕先生的博客
				

				

					06-06
					
					1788
					
				

			

		

		

			
				
使用的资源文件（自定义）
由于有的网站会对访问头进行识别，需要根据不同的浏览器建立不同的user_agent,及用户代理
user_agent_list = [  # pc端
    # safari 5.1 – MAC
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, ...

			
		

	





	

		

			

				
					
豆瓣python爬虫+源代码（适合爬虫学习）

				
			

			

				

					05-21
				

			

		

		

			
				
这是爬虫的第一步，也是最基础的部分。  2. **HTML解析**：利用`BeautifulSoup`或`lxml`库解析HTML文档，找到目标信息所在的HTML标签。这一步骤至关重要，因为我们需要从复杂的HTML结构中提取有价值的数据。  3. **...

			
		

	





	

		

			

				
					
Python爬虫之网页图片抓取的方法

				
			

			

				

					09-20
				

			

		

		

			
				
首先，了解爬虫的基本原理是重要的第一步。爬虫通常会发送一个HTTP请求到目标网站，然后接收网站响应的内容，再对内容进行解析，提取出所需的数据。对于图片抓取而言，爬虫需要识别出网页中的图片URL，并将这些图片...

			
		

	





	

		

			

				
					
Python-一个简单的Python爬虫

				
			

			

				

					08-10
				

			

		

		

			
				
 URL管理器是爬虫的第一步，它的主要任务是存储和管理待爬取的URL列表。它负责跟踪哪些URL已经被访问过，哪些还没有，防止重复爬取，并按照一定的策略（如深度优先或广度优先）来决定下一个要爬取的URL。可以使用...

			
		

	





	

		

			

				
					
python爬虫实战之澎湃新闻关键词爬取内容

				
			

			

				

					04-24
				

			

		

		

			
				
在`爬取交通事故总览.py`文件中，可能是在第一步的基础上进行了扩展，对所有与“交通事故”相关的新闻进行整体抓取，形成一个全面的概述，这可能包括新闻的数量、发布日期、作者等信息。  自然语言处理（NLP）在这样...

			
		

	





	

		

			

				
					
js(javascript)获取网页源码

				
			

			

				

					05-22
				

			

		

		

			
				
 
 
 
 
远程网页源代码读取 
 
/* 页面字体样式 */ 
body, td, input, textarea { 
font-family:Arial; 
font-size:12px; 
} 
 
 
//用于创建XMLHttpRequest对象 
function createXmlHttp() { 
//根据window.XMLHttpRequest对象是否存在使用不同的创建方式 
if (window.XMLHttpRequest) { 
xmlHttp = new XMLHttpRequest(); //FireFox、Opera等浏览器支持的创建方式 
} else { 
xmlHttp = new ActiveXObject("Microsoft.XMLHTTP");//IE浏览器支持的创建方式 
} 
} 
//直接通过XMLHttpRequest对象获取远程网页源代码 
function getSource() { 
var url = document.getElementById("url").value; //获取目标地址信息 
//地址为空时提示用户输入 
if (url == "") { 
alert("请输入网页地址。"); 
return; 
} 
document.getElementById("source").value = "正在加载……"; //提示正在加载 
createXmlHttp(); //创建XMLHttpRequest对象 
xmlHttp.onreadystatechange = writeSource; //设置回调函数 
xmlHttp.open("GET", url, true); 
xmlHttp.send(null); 
} 
//www.mp4ku.com将远程网页源代码写入页面文字区域 
function writeSource() { 
if (xmlHttp.readyState == 4) { 
document.getElementById("source").value = xmlHttp.responseText; 
} 
} 
 
 
 
远程网页源代码读取 
 
地址： 
 
 
 
 


			
		

	





	

		

			

				
					
一个简化的Python爬虫概述和示例代码.pdf

					
最新发布

				
			

			

				

					05-30
				

			

		

		

			
				
 - 使用`requests`库发起GET或POST请求，这是爬虫获取网页内容的第一步。  - 例如：`response = requests.get(url)`。  2. **解析响应内容**：  - 利用`BeautifulSoup`或`lxml`解析HTML文档。  - 例如：`soup = ...

			
		

	





	

		

			

				
					
python爬虫入门（一）——爬取整个网页的源码

				
			

			

				

					Kedaya的博客
				

				

					09-21
					
					8009
					
				

			

		

		

			
				
一、源码
利用第三方库request爬取网页
import requests
# encoding:utf-8  #默认格式utf-8

def get_html(url): #爬取源码函数
    headers = {
        'User-Agent': 'Mozilla/5.0(Macintosh; Intel Mac OS X 10_11_4)\
        AppleWebKit/537.36(KHTML, like Gecko) Chrome/52 .0.2743. 116 Safa

			
		

	





	

		

			

				
					
币小站日志3--简单爬虫第一步，下载网页，然后分析

				
			

			

				

					lihn1987的博客
				

				

					12-12
					
					177
					
				

			

		

		

			
				
币小站日志3–简单爬虫第一步，下载网页，然后分析

前言
我的《币小站》上线具体已经一周有余了，来记录下当前网站的状态。
根据统计显示

1、这个网站目前基本没有人访问（本周浏览量438，ip数18，我虽然屏蔽了自己的ip，但我估计大量的浏览量还是我自己访问的，尴尬。。。）
2、github的地址基本也没人访问（本周一共6个clone，这么烂的才学的技术，没人来访问也是正常的）
3、这些重要么？重...

			
		

	





	

		

			

				
					
python基础爬虫代码_python爬虫基础源代码

				
			

			

				

					weixin_39673002的博客
				

				

					12-06
					
					324
					
				

			

		

		

			
				
python爬虫基础源代码更新时间：2020-05-14 16:03:37            点击次数：384次1.简单爬取百度网页内容：爬取百度网页源代码：1import requestsr=requests.get("http://www.baidu.com")r.status_coder.encodingr.encoding=r.apparent_encodingr.text结果展示：2...

			
		

	





	

		

			

				
					
Python轻松实现动态网页爬虫(附详细源码)！

				
			

			

				

					爬遍所有网站
				

				

					05-22
					
					1万+
					
				

			

		

		

			
				
AJAX动态加载网页









一

什么是动态网页



J哥一向注重理论与实践相结合，知其然也要知其所以然，才能以不变应万变。



所谓的动态网页，是指跟静态网页相对的一种网页编程技术。静态网页，随着html代码的生成，页面的内容和显示效果就基本上不会发生变化了——除非你修改页面代码。而动态网页则不然，页面代码虽然没有变，但是显示的内容却是可以随着时间、环境或者数据库操作的结果而发生改变的。——来源百度百科



动态网页具有减少工作量、内容更新快、可完成功能多等特点，被很...

			
		

	





	

		

			

				
					
python爬虫入门篇------爬取网页源代码

					
热门推荐

				
			

			

				

					wf134的博客
				

				

					11-16
					
					3万+
					
				

			

		

		

			
				
需求: 
爬取用户输入网站的源代码,并导入到本地文件中. 
实现思路: 
利用python的urllib模块,打开网址读取源代码,然后在本地创建文件,将读取的代码写入.import urllib.request
def grab(url):
    # 打开传入的网址
    resp = urllib.request.urlopen(url)
    # 读取网页源码内容
    data = r

			
		

	





	

		

			

				
					
python入门学习（十一）-----爬虫（1、爬取网页源代码）

				
			

			

				

					d_eng_的博客
				

				

					05-23
					
					3956
					
				

			

		

		

			
				
python爬虫
简单获取网页源代码
>>> import urllib.request      #导入相应类库
>>> response = urllib.request.urlopen("http://www.baidu.com")
>>> html = response.read()
>>> print(html)       #输出数据均为二进制形式

b'<!DOCTYPE html>\n<html lan

			
		

	





	

		

			

				
					
Python爬虫实践：批量创建视频文件夹并获取m3u8链接

				
			

			

				

					
				

			

		

		

			
				
### 第一步：批量创建文件夹  批量创建文件夹是爬虫项目中的一个常见需求，用于存储不同集数的视频文件。在这个例子中，我们首先导入`os`模块，它是Python标准库中的一个模块，提供了与操作系统交互的各种功能，包括...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值