书证x+1

最新推荐文章于 2023-11-12 11:37:02 发布
最新推荐文章于 2023-11-12 11:37:02 发布
阅读量625 收藏 3
点赞数
分类专栏： 数据分析 文章标签： list docker 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_60384774/article/details/121968332
版权

题目：

题目说明：

# 二、数据采集任务场景二（编程开发） ## 1、数据场景： ### 采集网站 http://117.73.11.244:9090/ ### chrome浏览器启动 启动chrome：/opt/google/chrome/google-chrome --no-sandbox ### python开发工具启动 启动pycharm：/home/pycharm-community-2020.1.1/bin/pycharm.sh ### 工程目录说明 工程目录是：/root/PycharmProjects/webcrawler ### 编程文件 代码文件路径： /root/PycharmProjects/webcrawler/src/webcrawler.py

题目要求：

2、采集要求 1）使用python采集一个指定网站（http://117.73.9.229:9090/）的首页。 2）使用指定的user-agent值包装http request header。 3）采集目标：使用XPath获取顶部菜单栏的“新闻公告”的超链接地址（URL） 4）将结果存放到csv格式的文件里。结果文件路径：/home/output/crawler_result.csv 5）结果文件的要求：存放顶部菜单栏的“新闻公告”的超链接地址（URL） user-agent值： Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36 ## 3、提交的内容 1）代码文件：webcrawler.py 2）采集结果：crawler_result.csv

一、35分

#!/usr/bin/env python

# -*- coding: utf-8 -*-

import time

import urllib, time, os, base64, json

import re, sys

from urllib.request import urlopen

from lxml import etree

from urllib import request

import requests

def getPage(base_url):

    try:

        headers = {

            "User-Agent": "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36"}

        req = request.Request(base_url, headers=headers)

        page = urllib.request.urlopen(req)  # 5

        content = page.read().decode("utf-8", "ignore").encode("utf-8",'ignore')

        selector = etree.HTML(content)

        menu_items = selector.xpath("//*[@id=\"head_nav_list\"]/li[5]/a")  # 5

        for item in menu_items:

            writefile("/home/output/crawler_result.csv", item.attrib["href"])  # 2

    except Exception as e:  # 3

        print("Failed to read from %s." % base_url)

        print(sys.exc_info())

        return False

def writefile(filename, content):

    try:

        fp = open(filename, 'a') # 5

        fp.write(content + "\n") # 5

        fp.close()  # 5

    except:

        return False

now = time.strftime('%Y-%m-%d %X', time.localtime(time.time()))

try:

    # 5

    url = 'http://117.73.9.229:9090/'

    getPage(url)

except Exception as e:

    info = '%s\nError: %s' % (now, e)

    writefile('Error.log', info)

    print (info)

    time.sleep(1)

二、15分

暂无数据

http://www.inspuredu.com/sysNews/list.html

题目：

题目说明：

# 一、数据采集任务场景一（工具定制题） 使用 apache httpd、filebeat、logstash、csv完成数据采集演示。 ## 1、数据场景： ### apache httpd: 运行目录：/app/httpd/ 配置文件：/etc/httpd24/httpd.conf ### filebeat 安装路径：/bigData/tools/filebeat/ 配置文件：/bigData/tools/filebeat/filebeat.yml ### logstash 安装路径：/bigData/tools/logstash/ 配置文件：/bigData/tools/logstash/config/logstash-filebeat-csv.conf

题目要求：

## 2、采集要求 1）修改apache httpd配置文件中的端口为8070，然后重启apache httpd。 2）根据apache httpd配置信息能找到access日志文件。并且通过火狐浏览器直接访问http://127.0.0.1:8070网址，产生新的日志数据。 3）在filebeat里配置采集的apache httpd的access日志文件路径 4）使用采集工具（filebeat）收集apache httpd的access日志数据 5）通过filebeat输出到logstash，在logstash里收集信息，通讯端口是5045 6）通过logstash使用 HTTPD_COMBINEDLOG 正则表达式规则拆分日志数据，从拆分后的日志数据中获取访问者IP 7）通过logstash输出到csv文件中（/home/output/httpd-outfile.csv）。 8）httpd-outfile.csv内容说明：包含访问者IP属性信息。 ## 3、提交的内容 1）apache httpd的配置文件 2）filebeat的配置文件 3）logstash的配置文件 4）csv结果文件

三、3分

# 主要配置项
Listen 8070
 

# 其他内容省略
 

 

 

四、7分
 

filebeat.inputs:
 

 

- type: log
 

  # to do 
 

  enabled: true
 

  # to do
 

  paths:
 

    - /app/httpd/logs/error_log
 

 

filebeat.config.modules: 
 

  path: ${path.config}/modules.d/*.yml
 

 
 

  reload.enabled: false 
 

 

setup.template.settings:
 

  index.number_of_shards: 3
 

 

setup.kibana:
 

 

output.logstash:
 

  # to do The Logstash hosts
 

  hosts: ["localhost:5045"]
 

 

processors:
 

  - add_host_metadata: ~
 

  - add_cloud_metadata: ~
 

 

 

 

五、25分
 

# Sample Logstash configuration for creating a simple
 

# Beats -> Logstash -> Elasticsearch pipeline.
 

 

input {
 

    # to do
 

    beats {
 

            port => 5045
 

          }
 

}
 

filter { 
 

    # to do
 

          grok {
 

                   match => { "message" => "%{HTTPD_COMMONLOG}" }
 

               }
 

}
 

output {
 

               csv {
 

                       path => "/home/output/httpd-outfile.csv"
 

                       fields => ["clientip"]
 

                       csv_options => {"col_sep" => "  "}
 

               }
 

               
 

    stdout{
 

        codec => rubydebug
 

    }
 

    
 

}  
 

 

 

六、15分
 

127.0.0.1
 

::1
 

题目：
 

题目说明：
 

# 二、数据采集任务场景二（编程开发） ## 1、数据场景： ### 采集网站 http://117.73.11.244:9090/ ### chrome浏览器启动 启动chrome：/opt/google/chrome/google-chrome --no-sandbox ### python开发工具启动 启动pycharm：/home/pycharm-community-2020.1.1/bin/pycharm.sh ### 工程目录说明 工程目录是：/root/PycharmProjects/webcrawler ### 编程文件 代码文件路径： /root/PycharmProjects/webcrawler/src/webcrawler.py 
 

题目要求：
 

2、采集要求 1）使用python采集一个指定网站（http://117.73.9.229:9090/）的首页。 2）使用指定的user-agent值包装http request header。 3）采集目标：使用XPath获取顶部菜单栏的“新闻公告”的超链接地址（URL） 4）将结果存放到csv格式的文件里。结果文件路径：/home/output/crawler_result.csv 5）结果文件的要求：存放顶部菜单栏的“新闻公告”的超链接地址（URL） user-agent值： Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36 ## 3、提交的内容 1）代码文件：webcrawler.py 2）采集结果：crawler_result.csv 
 

 

 

 

一、35分
 

#!/usr/bin/env python
 

# -*- coding: utf-8 -*-
 

 

import time
 

import urllib, time, os, base64, json
 

import re, sys
 

from urllib.request import urlopen
 

from lxml import etree
 

from urllib import request
 

 

 

import requests
 

 

def getPage(base_url):
 

    try:
 

        headers = {
 

            "User-Agent": "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36"}
 

        req = request.Request(base_url, headers=headers)
 

 

        page = urllib.request.urlopen(req)  # 5
 

        content = page.read().decode("utf-8", "ignore").encode("utf-8",'ignore')
 

        selector = etree.HTML(content)
 

 

        menu_items = selector.xpath("//*[@id=\"head_nav_list\"]/li[5]/a")  # 5
 

        for item in menu_items:
 

            writefile("/home/output/crawler_result.csv", item.attrib["href"])  # 2
 

 

    except Exception as e:  # 3
 

        print("Failed to read from %s." % base_url)
 

        print(sys.exc_info())
 

        return False
 

 

 

def writefile(filename, content):
 

    try:
 

        fp = open(filename, 'a') # 5
 

        fp.write(content + "\n") # 5
 

        fp.close()  # 5
 

    except:
 

        return False
 

 

now = time.strftime('%Y-%m-%d %X', time.localtime(time.time()))
 

 

try:
 

    # 5
 

    url = 'http://117.73.9.229:9090/'
 

    getPage(url)
 

 

except Exception as e:
 

    info = '%s\nError: %s' % (now, e)
 

    writefile('Error.log', info)
 

    print (info)
 

    time.sleep(1)
 

 

 

二、15分
 

暂无数据
 

http://www.inspuredu.com/sysNews/list.html
 

 

 

 

题目：
 

题目说明：
 

# 一、数据采集任务场景一（工具定制题） 使用 apache httpd、filebeat、logstash、csv完成数据采集演示。 ## 1、数据场景： ### apache httpd: 运行目录：/app/httpd/ 配置文件：/etc/httpd24/httpd.conf ### filebeat 安装路径：/bigData/tools/filebeat/ 配置文件：/bigData/tools/filebeat/filebeat.yml ### logstash 安装路径：/bigData/tools/logstash/ 配置文件：/bigData/tools/logstash/config/logstash-filebeat-csv.conf 
 

题目要求：
 

## 2、采集要求 1）修改apache httpd配置文件中的端口为8070，然后重启apache httpd。 2）根据apache httpd配置信息能找到access日志文件。并且通过火狐浏览器直接访问http://127.0.0.1:8070网址，产生新的日志数据。 3）在filebeat里配置采集的apache httpd的access日志文件路径 4）使用采集工具（filebeat）收集apache httpd的access日志数据 5）通过filebeat输出到logstash，在logstash里收集信息，通讯端口是5045 6）通过logstash使用 HTTPD_COMBINEDLOG 正则表达式规则拆分日志数据，从拆分后的日志数据中获取访问者IP 7）通过logstash输出到csv文件中（/home/output/httpd-outfile.csv）。 8）httpd-outfile.csv内容说明：包含访问者IP属性信息。 ## 3、提交的内容 1）apache httpd的配置文件 2）filebeat的配置文件 3）logstash的配置文件 4）csv结果文件
 

 

三、3分
 

# 主要配置项
 

Listen 8070
 

 

# 其他内容省略
 

 

 

四、7分
 

filebeat.inputs:
 

 

- type: log
 

  # to do 
 

  enabled: true
 

  # to do
 

  paths:
 

    - /app/httpd/logs/error_log
 

 

filebeat.config.modules: 
 

  path: ${path.config}/modules.d/*.yml
 

 
 

  reload.enabled: false 
 

 

setup.template.settings:
 

  index.number_of_shards: 3
 

 

setup.kibana:
 

 

output.logstash:
 

  # to do The Logstash hosts
 

  hosts: ["localhost:5045"]
 

 

processors:
 

  - add_host_metadata: ~
 

  - add_cloud_metadata: ~
 

 

 

 

五、25分
 

# Sample Logstash configuration for creating a simple
 

# Beats -> Logstash -> Elasticsearch pipeline.
 

 

input {
 

    # to do
 

    beats {
 

            port => 5045
 

          }
 

}
 

filter { 
 

    # to do
 

          grok {
 

                   match => { "message" => "%{HTTPD_COMMONLOG}" }
 

               }
 

}
 

output {
 

               csv {
 

                       path => "/home/output/httpd-outfile.csv"
 

                       fields => ["clientip"]
 

                       csv_options => {"col_sep" => "  "}
 

               }
 

               
 

    stdout{
 

        codec => rubydebug
 

    }
 

    
 

}  
 

 

 

六、15分
 

127.0.0.1
 

::1
 

题目：
 

题目说明：
 

# 二、数据采集任务场景二（编程开发） ## 1、数据场景： ### 采集网站 http://117.73.11.244:9090/ ### chrome浏览器启动 启动chrome：/opt/google/chrome/google-chrome --no-sandbox ### python开发工具启动 启动pycharm：/home/pycharm-community-2020.1.1/bin/pycharm.sh ### 工程目录说明 工程目录是：/root/PycharmProjects/webcrawler ### 编程文件 代码文件路径： /root/PycharmProjects/webcrawler/src/webcrawler.py 
 

题目要求：
 

2、采集要求 1）使用python采集一个指定网站（http://117.73.9.229:9090/）的首页。 2）使用指定的user-agent值包装http request header。 3）采集目标：使用XPath获取顶部菜单栏的“新闻公告”的超链接地址（URL） 4）将结果存放到csv格式的文件里。结果文件路径：/home/output/crawler_result.csv 5）结果文件的要求：存放顶部菜单栏的“新闻公告”的超链接地址（URL） user-agent值： Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36 ## 3、提交的内容 1）代码文件：webcrawler.py 2）采集结果：crawler_result.csv 
 

 

 

 

一、35分
 

#!/usr/bin/env python
 

# -*- coding: utf-8 -*-
 

 

import time
 

import urllib, time, os, base64, json
 

import re, sys
 

from urllib.request import urlopen
 

from lxml import etree
 

from urllib import request
 

 

 

import requests
 

 

def getPage(base_url):
 

    try:
 

        headers = {
 

            "User-Agent": "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36"}
 

        req = request.Request(base_url, headers=headers)
 

 

        page = urllib.request.urlopen(req)  # 5
 

        content = page.read().decode("utf-8", "ignore").encode("utf-8",'ignore')
 

        selector = etree.HTML(content)
 

 

        menu_items = selector.xpath("//*[@id=\"head_nav_list\"]/li[5]/a")  # 5
 

        for item in menu_items:
 

            writefile("/home/output/crawler_result.csv", item.attrib["href"])  # 2
 

 

    except Exception as e:  # 3
 

        print("Failed to read from %s." % base_url)
 

        print(sys.exc_info())
 

        return False
 

 

 

def writefile(filename, content):
 

    try:
 

        fp = open(filename, 'a') # 5
 

        fp.write(content + "\n") # 5
 

        fp.close()  # 5
 

    except:
 

        return False
 

 

now = time.strftime('%Y-%m-%d %X', time.localtime(time.time()))
 

 

try:
 

    # 5
 

    url = 'http://117.73.9.229:9090/'
 

    getPage(url)
 

 

except Exception as e:
 

    info = '%s\nError: %s' % (now, e)
 

    writefile('Error.log', info)
 

    print (info)
 

    time.sleep(1)
 

 

 

二、15分
 

暂无数据
 

http://www.inspuredu.com/sysNews/list.html
 

 

 

 

题目：
 

题目说明：
 

# 一、数据采集任务场景一（工具定制题） 使用 apache httpd、filebeat、logstash、csv完成数据采集演示。 ## 1、数据场景： ### apache httpd: 运行目录：/app/httpd/ 配置文件：/etc/httpd24/httpd.conf ### filebeat 安装路径：/bigData/tools/filebeat/ 配置文件：/bigData/tools/filebeat/filebeat.yml ### logstash 安装路径：/bigData/tools/logstash/ 配置文件：/bigData/tools/logstash/config/logstash-filebeat-csv.conf 
 

题目要求：
 

## 2、采集要求 1）修改apache httpd配置文件中的端口为8070，然后重启apache httpd。 2）根据apache httpd配置信息能找到access日志文件。并且通过火狐浏览器直接访问http://127.0.0.1:8070网址，产生新的日志数据。 3）在filebeat里配置采集的apache httpd的access日志文件路径 4）使用采集工具（filebeat）收集apache httpd的access日志数据 5）通过filebeat输出到logstash，在logstash里收集信息，通讯端口是5045 6）通过logstash使用 HTTPD_COMBINEDLOG 正则表达式规则拆分日志数据，从拆分后的日志数据中获取访问者IP 7）通过logstash输出到csv文件中（/home/output/httpd-outfile.csv）。 8）httpd-outfile.csv内容说明：包含访问者IP属性信息。 ## 3、提交的内容 1）apache httpd的配置文件 2）filebeat的配置文件 3）logstash的配置文件 4）csv结果文件
 

 

三、3分
 

# 主要配置项
 

Listen 8070
 

 

# 其他内容省略
 

 

 

四、7分
 

filebeat.inputs:
 

 

- type: log
 

  # to do 
 

  enabled: true
 

  # to do
 

  paths:
 

    - /app/httpd/logs/error_log
 

 

filebeat.config.modules: 
 

  path: ${path.config}/modules.d/*.yml
 

 
 

  reload.enabled: false 
 

 

setup.template.settings:
 

  index.number_of_shards: 3
 

 

setup.kibana:
 

 

output.logstash:
 

  # to do The Logstash hosts
 

  hosts: ["localhost:5045"]
 

 

processors:
 

  - add_host_metadata: ~
 

  - add_cloud_metadata: ~
 

 

 

 

五、25分
 

# Sample Logstash configuration for creating a simple
 

# Beats -> Logstash -> Elasticsearch pipeline.
 

 

input {
 

    # to do
 

    beats {
 

            port => 5045
 

          }
 

}
 

filter { 
 

    # to do
 

          grok {
 

                   match => { "message" => "%{HTTPD_COMMONLOG}" }
 

               }
 

}
 

output {
 

               csv {
 

                       path => "/home/output/httpd-outfile.csv"
 

                       fields => ["clientip"]
 

                       csv_options => {"col_sep" => "  "}
 

               }
 

               
 

    stdout{
 

        codec => rubydebug
 

    }
 

    
 

}  
 

 

 

六、15分
 

127.0.0.1
 

::1

                

        

        

    




    

      

        

            

              
                
                  一脸黑
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    3
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
网页数据解析

				
			

			

				

					Junds0的博客
				

				

					03-05
					
					3497
					
				

			

		

		

			
				
第1关：XPath解析网页
本关任务：在 XPath 基础实训中，介绍了 XPath 的基础知识，本关需要使用 XPath 技术来编写解析网页的程序。
import urllib.request
from lxml import etree
def get_data(url):  
    '''  
    :param url: 请求地址  
    :return: None  
    '''  
    response=urllib.request.urlopen(url=url)  
    

			
		

	



                

              
                



	

		

			

				
					
1+x 2020年数据采集证书（中级）实操试卷一

				
			

			

				

					m0_51921670的博客
				

				

					12-12
					
					4195
					
				

			

		

		

			
				
1+x数据采集中级

			
		

	



                


  
              

                


	

		

			

				
					
头歌xpath解析网页

				
			

			

				

					dearlwy521的博客
				

				

					04-27
					
					6509
					
				

			

		

		

			
				
import urllib.request

from lxml import etree

def get_data(url):
    '''
    :param url: 请求地址
    :return: None
    '''
    response=urllib.request.urlopen(url=url)
    html=response.read().decode("utf-8")
    # *************** Begin *************** #
  .

			
		

	





	

		

			

				
					
【无标题】

				
			

			

				

					qq_44858698的博客
				

				

					11-28
					
					338
					
				

			

		

		

			
				
编程
#!/usr/bin/env python
-- coding: utf-8 --
import time
import urllib, time, os, base64, json
import re, sys
from lxml import etree
from urllib.request import urlopen
from urllib import request
def getPage(base_url):
try:
req = request.Request(base_url)
 

			
		

	



		

			
		



	

		

			

				
					
头歌答案--爬虫实战

					
最新发布

				
			

			

				

					m0_62476845的博客
				

				

					11-12
					
					9396
					
				

			

		

		

			
				
​​​​​​​。

			
		

	





	

		

			

				
					
1 X证书制度下工业机器人技术专业书证融通探索与实施.pdf

				
			

			

				

					08-11
				

			

		

		

			
				
#资源达人分享计划#

			
		

	





	

		

			

				
					
能力本位教学在书证融通课程建设中的探索——以工业机器人操作与运维“1 X”书证融通课程为例.pdf

				
			

			

				

					08-11
				

			

		

		

			
				
工业机器人操作与运维是其中的一门关键课程，它结合了机械、传感器、可编程控制等基础知识，通过“1+X”书证融通，使学生在获得学历证书的同时，也能获取行业认可的职业技能证书。这为学生毕业后的工作实践提供了...

			
		

	





	

		

			

				
					
“1 X”证书制度下“书证融通”教学改革的研究--以高职工业机器人专业为例.pdf

				
			

			

				

					08-11
				

			

		

		

			
				
#资源达人分享计划#

			
		

	





	

		

			

				
					
1 X证书制度下高职书证融通实践与思考——以浙江机电职业技术学院跨境电商专业为例.zip

				
			

			

				

					10-19
				

			

		

		

			
				
《1 X证书制度下高职书证融通实践与思考——以浙江机电职业技术学院跨境电商专业为例》  本资料探讨的主题是1 X证书制度在高职教育中的实施情况，特别是针对浙江机电职业技术学院跨境电商专业的具体实践和思考。1 X...

			
		

	





	

		

			

				
					
_1_X_证书制度背景下高职院校软件技术专业书证融通模式研究与探索_计算机专业论文范文模板、范本.pdf

				
			

			

				

					06-13
				

			

		

		

			
				
在“1 + X”证书制度背景下，高职院校软件技术专业的教育模式正经历着重大改革。这一制度旨在通过学历证书与职业技能等级证书的融合，提升学生的综合能力和就业竞争力。新一代信息技术产业的发展对高技能人才的需求...

			
		

	





	

		

			

				
					
Python学习日志——爬虫（一）urllib

				
			

			

				

					weixin_44516568的博客
				

				

					07-02
					
					609
					
				

			

		

		

			
				
一、urllib库基础

1.urllib可以提供一个高级接口，通过url在网上获取数据

2.url编码是基于utf-8的，在url中不允许出现空格

3.urllib方法：

(1)urllib.request.urlopen：发送请求，即发送想要爬取的网页链接，会返回网页的html代码

   request.urlopen(url, data=None, [timeout, ]*, ...

			
		

	





	

		

			

				
					
Apache开启网站访问日志

				
			

			

				

					weixin_48474188的博客
				

				

					07-06
					
					1119
					
				

			

		

		

			
				
Apache开启网站访问日志

有时候你想知道什么人在什么时候浏览了你网站或者你想查看搜索引擎蜘蛛的访问行为,都可以打开Apache的访问日志(access.log)查看。

access.log文件中记录着访问用户的详细信息,但是像PhpStudy这些集成环境默认是没有开启access.log访问日志的,原因是因为access.log文件会占用大量的空间资源,如果你的网站访问量大的话,access.log文件一天就有可能吃掉你几个G的磁盘空间。

但是对于新站,访问量往往并不是很大,而且比较注重SEO(搜

			
		

	





	

		

			

				
					
apache服务器访问日志access.log设置

				
			

			

				

					Chappi
				

				

					02-03
					
					7273
					
				

			

		

		

			
				
一、访问日志信息

当浏览器请求服务器时，如果在服务器上设置了访问日志，就会记录下用户的访问记录。
例如我访问本地apache所产生的一条默认的日志：

127.0.0.1 - - [03/Feb/2015:23:14:24 +0800] "GET / HTTP/1.1" 200 2
分为7个部分
  （1）第一项信息是远程主机的地址，即它表明访问网站的究竟是谁。（可以要求apach

			
		

	





	

		

			

				
					
Python 利用urllib2 lxml 抓取网页信息

				
			

			

				

					luochenhuan123的专栏
				

				

					01-22
					
					2411
					
				

			

		

		

			
				
1. 本程序目的是提取网页中div class = "article_category" 的标签下的text内容即黑体所示：
	>Recreation>Games>Video Games>Titles>Recreation and Sports>Sports>Racing and Driving>MotorStorm	

2. 使用的lib有：
import urllib2
from l

			
		

	





	

		

			

				
					
盘点5种基于Python生成的个性化语音方法

				
			

			

				

					pdcfighting的博客
				

				

					11-28
					
					1184
					
				

			

		

		

			
				
击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤今年欢笑复明年，秋月春风等闲度。小编在很小的时候就特别喜欢搞怪，模...

			
		

	





	

		

			

				
					
Python爬虫XPATH

				
			

			

				

					KEELON的博客
				

				

					11-06
					
					394
					
				

			

		

		

			
				
import urllib
import urllib.request
import lxml
from lxml import etree
a=0def loadPage(url):
    """    :param url:
    :param filename:
    :return:
    """    request=urllib.request.Request(url=url)

			
		

	





	

		

			

				
					
python爬虫模块下载_python爬虫系列(4.5-使用urllib模块方式下载图片)

				
			

			

				

					weixin_39841825的博客
				

				

					12-04
					
					104
					
				

			

		

		

			
				
一、回顾urllib包中下载图片的方式1、urlretrieve下载文件from urllib import requestif __name__ == "__main__":# 下载整个网页request.urlretrieve('http://www.baidu.com', 'baidu.html')# 下载图片import osimport shutilfrom urllib import ...

			
		

	





	

		

			

				
					
python爬虫之图片的懒加载

				
			

			

				

					CP1024的博客
				

				

					06-29
					
					1094
					
				

			

		

		

			
				
图片的懒加载
使用xpath获取图片：
代码：
import os
import urllib.request
import urllib.parse
from lxml import etree


def hanlderequest(url,page):
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/

			
		

	





	

		

			

				
					
小白学 Python 爬虫（16）：urllib 实战之爬取妹子图

				
			

			

				

					极客挖掘机
				

				

					12-12
					
					2971
					
				

			

		

		

			
				
人生苦短，我用 Python



前文传送门：
小白学 Python 爬虫（1）：开篇
小白学 Python 爬虫（2）：前置准备（一）基本类库的安装
小白学 Python 爬虫（3）：前置准备（二）Linux基础入门
小白学 Python 爬虫（4）：前置准备（三）Docker基础入门
小白学 Python 爬虫（5）：前置准备（四）数据库基础
小白学 Python 爬虫（6）：前置准备（...

			
		

	





	

		

			

				
					
大数据技术与应用专业1+X人才培养方案解析

				
			

			

				

					
				

			

		

		

			
				
"该文档是关于大数据技术与应用专业在1+X职业教育体系下的人才培养方案，旨在培养具备大数据处理和分析能力的高素质技术技能人才。"  大数据1+X职业院校人才培养方案聚焦于培养具备全面素质，包括道德品质、智力发展...

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值