- 博客(11)
- 收藏
- 关注
RSS订阅原创 使用C++执行mapreduce任务
1.hadoop-streaming-xxx.jar虽然hadoop是用java开发的(一般程序也要用java写)，但hadoop提供了一个工具：hadoop-streaming，主要是帮助用户创建/运行一类特殊的map/reduce作业。使得任何语言编写的map/reduce作业都能在上面运行2.注意：写好的map/reduce程序也要上传到hadoop根目录下（不要传到文件系统上，因为原有的java代码也是放在hadoop中，而文件系统只是存放对应的文件）...
2020-10-22 16:31:23
494
原创 linux下python环境安装
首先确保系统未安装python2/python3，然后主要参考：这里注意：如果下载压缩文件太慢的话，在windos中下载再传到linux下python版本的查看：检查python版本：cmd下python --version如果同时安装了python2和python3，查看python3的版本要用python3 -Vlinux下包的安装：在linux下安装python包，要先安装pip(sudo apt-get install python3-pip)，再用pip安装，不能用apt-get in
2020-10-22 16:30:56
148
原创 python异常捕捉
主要是捕捉程序中可能抛出的异常，定位异常原因在python中使用try catch机制，代码如下：def main(): list = [10,11,12] res = [] for i in range(4): try: res.append(list[i]) except IndexError:y print(i) //这里会打印出3，即当循环进行到i=3时由于出现了indexe
2020-10-22 16:30:16
218
原创 unbuntu下进行YARN环境搭建
目录一.准备二.YARN环境搭建1.配置2.启动YARN环境：ubuntu 18.04.1hadoop 3.1.4参考：https://blog.51cto.com/zero01/2091635一.准备搭建YARN环境之前一般已经进行好了HDFS的环境搭建，具体内容参考：在ubuntu下进行HDFS伪分布式环境搭建二.YARN环境搭建因为已经安装好了hadoop，所以直接开始配置1.配置编辑/usr/local/hadoop/etc/hadoop/mapred-site.xml文件，在
2020-09-25 23:30:28
797
原创 FZ从win上传文件到ubuntu
首先虚拟机执行sudo apt-get installl openssh-server然后FZ输入虚拟机ip,用户名，密码，端口号选为22即可
2020-09-24 23:07:21
1220
原创 python数据可视化
1.直方图绘制，主要用来观察数据分布data['A'].plot.hist() #.plot.bar()也可以（怎样的数据分布才是好的分布？？）2.热力图绘制，观察数据之间相关性correlation=data['feature'].corr()sns.heatmap(correlation,square=True)3.箱形图绘制，主要帮助观察异常值（箱形图不受异常值影响，可以以一种相对稳定的方式描述数据离散分布的情况）sns.boxplot()箱形图是以上下四分位数为两条边绘制
2020-09-24 09:10:10
44
原创 C++ 数据类型之间的转换
1.char转intint num_int = num_char - '0';2.int转stringnum_str = to_string(num_int) #to_string要引入string
2020-09-21 19:45:09
86
原创 C++各种输入处理办法
1.输入一行字符串，放到char数组中char str[100];cin.getline(str,100);2.输入一行字符串，放到string中string str;getline(cin,str);//待补充
2020-09-21 19:40:18
610
原创 在ubuntu下进行HDFS伪分布式环境搭建（学习用）
#本博客主要是记录自己学习过程，有问题麻烦大家指出…hadoop + mapreduce的伪分布式环境主要包括：HDFS搭建，YARN搭建下面分别阐述搭建过程环境：Ubuntu 18.04.1Hadoop 3.1.4一.准备工作1.创建新用户因为是在虚拟机下搭建，所以有必要为了这个作业专门创建一个用户并给权限sudo useradd -m hadoop #-m表示自动建立用户登陆目录sudo passwd hadoopsudo adduser hadoop sudo #增加管理员权限
2020-09-20 21:49:45
1690
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人