大数据最新使用Spark探索数据(1)

# hadoop fs -put /usr/data/u.occupation /data/u.occupation
# hadoop fs -ls /data

上传后的HDFS的data目录结构如图所示


![](https://img-blog.csdnimg.cn/direct/12d4a577f04f41d9ab503eaed313eb09.png)


### 3.探索用户数据：


* 打开终端，执行pyspark命令，进入Spark的python环境


![](https://img-blog.csdnimg.cn/direct/04e1c8b6f5724bceac8ede63a6dce033.png)


![](https://img-blog.csdnimg.cn/direct/40283d14a5554c55b54ca03dd30de0a3.png)


* 打印首行记录


![](https://img-blog.csdnimg.cn/direct/228021db0e7c49b9a5bdd4f0e359827f.png)


运行结果如下


![](https://img-blog.csdnimg.cn/direct/61ccc4f5c21944acad8441010c682b4e.png)


* 分别统计用户、性别和职业的个数

# 以’ | '切分每列，返回新的用户RDD
user_fields = user_data.map(lambda line: line.split(“|”))
# 统计用户数
num_users = user_fields.map(lambda fields: fields[0]).count()
# 统计性别数
num_genders = user_fields.map(lambda fields: fields[2]).distinct().count()
# 统计职业数
num_occupations = user_fields.map(lambda fields: fields[3]).distinct().count()
# 统计邮编数
num_zipcodes = user_fields.map(lambda fields: fields[4]).distinct().count()
# 返回结果
print (“用户数: %d, 性别数: %d, 职业数: %d, 邮编数: %d” % (num_users, num_genders, num_occupations, num_zipcodes))

运行结果如下


![](https://img-blog.csdnimg.cn/direct/994402d51c4d4f1ebcff332a22ec5e6f.png)


* 查看年龄分布情况，并用plt.show绘制


![](https://img-blog.csdnimg.cn/direct/31b52c6e735c401e8c94bad8203cfd83.png)


![](https://img-blog.csdnimg.cn/direct/365626ea310e4737947b81fc818145cd.png)


* 查看职业分布情况，同样绘制图

# 并行统计各职业人数的个数，返回职业统计RDD后落地
count_by_occupation = user_fields.map(lambda fields: (fields[3], 1)).reduceByKey(lambda x, y: x + y).collect()
# 生成x/y坐标轴
x_axis1 = np.array([c[0] for c in count_by_occupation])
y_axis1 = np.array([c[1] for c in count_by_occupation])
x_axis = x_axis1[np.argsort(x_axis1)]
y_axis = y_axis1[np.argsort(y_axis1)]
# 生成x轴标签
pos = np.arange(len(x_axis))
width = 1.0
ax = plt.axes()
ax.set_xticks(pos + (width / 2))
ax.set_xticklabels(x_axis)
# 绘制职业人数条状图
plt.xticks(rotation=30)
plt.bar(pos, y_axis, width, color=‘lightblue’)
plt.show()

 ![](https://img-blog.csdnimg.cn/direct/cb2f4ff2ee0a42588ba6583514d416f4.png)


* 统计各职业人数


![](https://img-blog.csdnimg.cn/direct/2dddbe6ff04a4fd0b820068e81cdda79.png)


![](https://img-blog.csdnimg.cn/direct/e134603e29304b389f4cf8be5cb87cae.png)


### 4.探索电影数据：


* 重新打开终端，执行pyspark命令，进入Spark的python环境


![](https://img-blog.csdnimg.cn/direct/c000f7bcb89742a4ba85b261ad122f06.png)


* 打印首行记录


![](https://img-blog.csdnimg.cn/direct/1e6cd5ed4bfc43e0a793f4d27ba36646.png)


![](https://img-blog.csdnimg.cn/direct/5d261e19662d4f57aabda4ffe0361266.png)


* 查看电影的数量


![](https://img-blog.csdnimg.cn/direct/5a7c0131e045489587cf3dd518382b55.png)


![](https://img-blog.csdnimg.cn/direct/18ae8bcbf7bd4e2990739f0b8cc12e9d.png)


* 过滤掉没有发现时间信息的记录


![](https://img-blog.csdnimg.cn/direct/8f7269cbffd84c12aff682f2a5d1568b.png)


注意，输入时需要手动缩进


![](https://img-blog.csdnimg.cn/direct/632b63ec0dd849caaace94e7026ebbbc.png)


* 查看影片的年龄分布并绘图


![](https://img-blog.csdnimg.cn/direct/72e78a890bbb467d94b0b2c2b0dfd691.png)


![](https://img-blog.csdnimg.cn/direct/70941fcc7a83434c8260629973f2a560.png)


### 5.探索评级数据：


* 重新打开终端，进入Spark的bin目录下，执行pyspark命令，进入Spark的python环境


![](https://img-blog.csdnimg.cn/direct/551bf0a861234110a759d63aeeb7bd59.png)


* 打印首行记录


![](https://img-blog.csdnimg.cn/direct/921f1eadad4d4d47b9a35f35d2feb0c1.png)


![](https://img-blog.csdnimg.cn/direct/0fb8ecf7d93d441d84927e235ff6fcfa.png)


* 查看有多少人参与了评分


![](https://img-blog.csdnimg.cn/direct/59b93b32225d4e0eb1980e1e1e451d36.png)


![](https://img-blog.csdnimg.cn/direct/50c1f7c52529448b86338ca1a0a34c58.png)


* 统计最高、最低、平均、中位评分，以及平均每个用户的评分次数





![img](https://img-blog.csdnimg.cn/img_convert/b58292f30b0350b1ebde0a0df57cd743.png)
![img](https://img-blog.csdnimg.cn/img_convert/736e5ef888e8e475515506a686c6df8c.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**