- 博客(8)
- 收藏
- 关注
原创 hadoop完全分布式搭建
一、在搭建伪分布式的前提下 https://blog.csdn.net/qq_16555103/article/details/87926120 -------- 伪分布式搭建二、步骤如下 linux版本:Centos 6.51、克隆3台虚拟机,分别为: -》ai7-server2 -》ai7-server3 ...
2019-02-28 19:30:18 272
原创 Hive、hadoop命令基本使用
一、hadoop中HDFS的基本命令 1、Hadoop启动服务命令 (1)逐个启动hadoop服务:1、sbin/hadoop-daemon.sh start namenode2、sbin/hadoop-daemon.sh start datanode3、sbin/hadoop-daemon.sh start secondarynamenode4、sbin/y...
2019-02-26 21:15:29 3064
原创 hadoop平台常见问题
出现错误 一定要学会查看日志文件,查看logs/下的对应进程的.log后缀的文件 【框架名】【用户名】【进程名】【主机名】【文件后缀】 hadoop-beifeng-datanode-bigdata-04.log 查看最新的日志记录,最新时间pid进程号(注意权限问题) 系统进程每次启动之后会有一个pid编号,每次启动会随机生成 多个用户启动进程,会记录不同用户的pid进程...
2019-02-26 13:11:36 674
原创 hadoop伪分布平台hive搭建
版本信息: linux 版本: Centos 6.5 hadoop版本:hadoop 2.7.3 jkd版本: jdk 1.8一、配置linux系统: -》修改网卡文件 - vi /etc/sysconfig/network-scripts/ifcfg...
2019-02-25 22:11:52 1501
原创 hadoop简介
① hadoop 官方网站: hadoop.apache.org 一、大数据框架简介 - Common:封装了大量的API,为后面的模块服务 - HDFS:分布式文件系统,存储海量数据 ------- namenode管理存储资源平台 - MapReduce:分布式 并行计算框架,编程模型 - ...
2019-02-25 21:57:11 559
原创 python进阶(数据分析matplotlib库 一)
一、基础介绍--------------------------------------------------------------------------------plt.plot(X, Y, 'b') -------- 'b' 蓝色plt.plot(X, Y, 'bo') --...
2019-02-24 17:53:48 703
原创 python进阶(数据分析pandas库 二) --- 其他API
1、pd.Categorical() categorical 实际上是计算一个列表型数据中的类别数,即不重复项,它返回的是一个CategoricalDtype 类型的对象,相当于在原来数据上附加上类别信息 , 具体的类别可以通过和对应的序号可以通过 codes 和 categories 来查看import pandas as pdtmp = pd.Categorical(['2...
2019-02-24 17:52:53 344
转载 python进阶 (Jupyter 快捷键)
1、 https://blog.csdn.net/weixin_41775042/article/details/80670227#t4 ----------- Jupyter 快捷键
2019-02-20 11:06:36 605
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人