二手车网数据分析

一头甲

已于 2024-04-06 16:23:28 修改

阅读量2.2k

点赞数 52

分类专栏：项目文章标签：数据分析数据库 hadoop python java html idea

于 2024-03-30 23:27:19 首次发布

本文链接：https://blog.csdn.net/weixin_75027717/article/details/137185817

版权

项目专栏收录该内容

2 篇文章 0 订阅

订阅专栏

不知名小白

Email : 3627644202@qq.com

Time of completion：2024.3.30

（3）登录ubuntu16，创建hadoop用户

前言

中国二手车市场是一个万亿级的市场。自21世纪汽车大量进入中国家庭以来，汽车在不断地更新换代，加之汽车在使用一段时间后出现机件性能下降、养护成本提高等，促使用户更新在用车辆。

一、运行环境

1、jdk

①将java文件夹拷贝到C:\ProgramFiles目录下

②配置环境变量

在系统变量中创建CLASSPATH，设置路径.;C:\ProgramFiles\Java\jdk1.8.0_131\lib

在Path中设置C:\ProgramFiles\Java\jdk1.8.0_131\bin路径

2、maven

①将maven文件夹拷贝到C:\ProgramFiles目录下

②配置环境变量

在Path中设置C:\ProgramFiles\apache-maven-3.6.3\bin

③在命令提示符输入mvn-v可以显示maven的版本号

3、idea安装

①根据向导进行安装（注意路径的选择，不要包含空格、中文字符）

②破解文件的配置

4、scala

①在idea中选择file->settings->选择plugins搜索scala进行在线安装

5、VMware虚拟机安装和hadoop

安装步骤：

（1）安装vm17

（2）安装ubuntu16 root

（3）登录ubuntu16，创建hadoop用户

$sudo passwd root

#useradd -m hadoop -s /bin/bash

#passwd hadoop

#adduser hadoop sudo

#su hadoop

hadoop@ubuntu01:~$

（4）安装jdk

查看是否安装成功
$java -version

（5）下载 Hadoop

ubuntu下打开firefox浏览器，输入 www.baidu.com ->https://hadoop.apache.org/

下载hadoop

正常在 Download

#mv hadoop-2.10.2.tar.gz /home/hadoop

（6）安装hadoop

hadoop@ubuntu01:$ tar -xvf hadoop-2.10.2.tar.gz

用tar解压后,在路径下看到hadoop的文件夹

/home/hadoop/hadoop-2.10.2/

（7）配置hadoop环境变量

$sudo vim /etc/profile

使配置profile生效，

$source /etc/profile

（8）查看hadoop命令

$hadoop version

二、设计思路

数据采集：
数据处理：
数据分析：
可视化展示：

三、内容

1.数据采集

代码如下（示例）：

import csv

import requests
import parsel

f = open('datacar.csv',mode='a',encoding='utf-8',newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
       '标题',
       '年份',
       '里程',
       '城市',
       '价格',
       '标签儿',
       '保修又没',
       '详情页',

])
csv_writer.writeheader()
for page in range(1,51):
    print(f'=======ciajidi{page}yedeshujuneiron======')
    headers = {
        'Cookie':'......',
        'User-Agent':'......'
    }
    url=f'https://..........com/all/?page={page}&'
    response = requests.get(url=url,headers=headers)
    html_data = response.text
    print(response)
    selector = parsel.Selector(html_data)
    lis = selector.css('.Content_left .gongge_ul li')
    for li in lis:
       title = li.css('.title::attr(title)').get()
       car_info = li.css('.gongge_main p i::text').getall()
       year = car_info[0]
       mileage =car_info[1]
       city = car_info[2].strip()
       label = li.css('.car_tag em::text').get().strip()
       tag = li.css('.tc_label::text').get()
       price = li.css('.Total::text').get()
       href = li.css('.title::attr(href)').get()
       dit={
           '标题': title,
           '年份': year,
           '里程': mileage,
           '城市': city,
           '价格': price,
           '标签儿': label,
           '保修又没': tag,
           '详情页': href,

       }
       csv_writer.writerow(dit)
       print(title,year,mileage,city,price,label,tag,href)