- 博客(9)
- 收藏
- 关注
RSS订阅原创 Intellij IDEA 基础操作汇总
1. 配置IDEA1) 配置字体大小 2）配置 maven2. IDEA 中的创建项目1）创建 new project 的 JAVA 目录2） 配置 JDK3）选择项模板4）指定项目存放位置5) 隐藏IDEA的项目配置文件,隐藏idea文件6）main 方法的运行点击鼠标的右键，通过菜单中的选项进行运行。3...
2019-08-09 20:05:06
252
原创 07.Python pyhdfs 连接 HADOOP 基本命令
1.pyhdfs连接上 Hadoop1）使用 pyhdfs ，pip install pyhdfs2）client = pyhdfs.HdfsClient(hosts="139.********",timeout=60,max_tries=5) 参数详解：坑：连接的时候会碰到权限问题：修改 节点上的 hdfs-site.xml 权限问题 <...
2019-08-07 12:17:05
845
原创 Pandas基本操作的汇总
1.读取数据df=pd.read_csv('query-869.csv') ，也可以用 read_csv 直接读取 text 文件也可以。 读取excel 的话，df = pd.read_excel("query-577.xlsx") 读取 tsv ，需要有分隔符，df2 =pd.read_csv('name.tsv', sep='\t')2.查看有所有的列名 &am...
2019-08-06 11:42:52
378
原创 06.HDFS API + ECLIPSE 操作 MapReduce
基于Windows , 使用 Eclipse 编译 MapReduce1.新建文件夹，存放 jar 包1） 下载 hadoop 对应版本的 压缩包并解压到新的一个文件夹中 hadoop-2.6.5 , hadoop-2.6.5-src , 并创建文件夹 hadoop-lib 用于放 jar 包 ...
2019-08-03 12:28:03
92
原创 05.HADOOP CDH5.16.1 详细搭建流程
CDH 相对于原生的HADOOP 平台具有更好的可操作性，通过页面就行控制，方便安装和管理，还可以对整个集群进行参数的调整等等。在此也要感谢 马尔东风https://blog.csdn.net/qq_39572733/article/details/89469741给到的帮助。在这里我使用了 CDH5.16.1 版本 ，那么与其对应的 软件包也需要相应下载。1.安装前的准备工作...
2019-08-01 15:47:47
499
原创 04.Haoop2.0 HA 高可用版原理及搭建
1.HADOOP 2.0 存在的背景1.Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题2.HDFS存在的问题(2个):1)NameNode单点故障，难以应用于在线场景 （HA）2)NameNode压力过大，且内存受限，影扩展性（F）3.MapReduce存在的问题：1）JobTracker访问压力大，影响系统扩展性2）难以支持除MapR...
2019-07-20 13:43:44
216
原创 03.Haoop 全分布式搭建步骤
在搭建的过程中一定要记得做一些快照，这样方便回滚。否则搭建错的时候就要从来来过，特别麻烦！我主要用 1台 windows 电脑 和 1台 mac 电脑 共同搭建网络。这里节点数一般设置4个就行，1个 作为Namenode， 3个作为Datanode 就够了。hostnamectl set-hostname node01用来修改 虚拟机的名字，记得 reboot 重启。1....
2019-06-22 12:18:00
216
原创 02.Haoop 虚拟机 桥接与NAT之间区别 及桥接设置
首先说 我的硬件准备，1台windows系统，1台mac pro 。在 物理机上使用了 VMWARE + CENTOS 7 的 方式进行配置。那么我希望能实现把 这2台机器连在一起，做Hadoop 的集群。网络问题是首先需要解决的事情，主要不通物理主机之间一直互相ping 不通等问题。看了一些 教程 都是使用 NAT的方式搭建，我也照搬了但是发现我就是 ping 不通。 纠其原因...
2019-06-22 10:18:09
322
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人