- 博客(22)
- 收藏
- 关注
RSS订阅原创 多台机器ssh互相信任
1.配置机器的/etc/hosts 文件 为多台信任做准备[hadoop@hadoop001 ~]$ su - rootPassword: [root@hadoop001 ~]# vi /etc/hosts172.18.39.23 hadoop001 hadoop001172.18.39.22 hadoop002 hadoop002172.18.3...
2018-11-27 21:49:39
301
原创 windows文件传到linux导致文件类型错误处理
问题：[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ sbin/start-dfs.sh18/11/27 16:24:25 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where a...
2018-11-27 21:48:31
826
1
原创 云主机集群部署
1.准备机器阿里云购买3台云服务器ECS实例，可以选择按量收费的2.用xshell软件打开3台实例，并且在查看->撰写->撰写栏(可以同一时间编写多个实例的命令)3.添加hadoop用户，一般我们不会使用root超级用户来操作[root@hadoop001 ~]# useradd hadoop[root@hadoop001 ~]# su - hadoop[hadoop@h...
2018-11-27 21:46:16
1406
原创 Yarn HA
1.线程和进程的区别每个进程都有独立的代码和数据空间（程序上下文），程序之间的切换会有较大的开销；线程可以看做轻量级的进程，同一类线程共享代码和数据空间，每个线程都有自己独立的运行栈和程序计数器（PC），线程之间切换的开销小。在操作系统中能同时运行多个进程（程序）；而在同一个进程（程序）中有多个线程同时执行（通过CPU调度，在每个时间片中只有一个线程执行）没有线程的进程可以看做是单线程的，如...
2018-11-27 21:26:05
187
原创 Hadoop集群 HDFS HA
1.我们为什么使用hadoop集群一般在生产中，机器出现故障是难以避免的，那么如果nn节点宕机了，这个时候就不能对外提供服务当时如果我们采用hadoop集群，那么一个nn节点挂了，我们另外的一个nn节点就会从standby切换到active状态，对外去提供服务2.HDFS HAHadoop NameNode 高可用 (High Availability) ，也就是说在我们的生产中，一个挂了...
2018-11-27 20:41:17
253
原创 运行MR JOB
1.Make the HDFS directories required to execute MapReduce jobs:[hadoop@hylct hadoop-2.6.0-cdh5.7.0]$ bin/hdfs dfs -mkdir -p /user/hadoop2.Copy the input files into the distributed filesystem:[hado...
2018-10-10 19:26:11
173
原创 Yarn伪分布式部署
1.进入该目录[hadoop@hylct hadoop]$ pwd/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop2.复制一份mapred-site文件[hadoop@hylct hadoop]$ cp mapred-site.xml.template mapred-site.xml3.修改该文件，配置configuration信息...
2018-10-10 15:34:51
198
原创 Hadoop2.6安装
1.准备工作1.hadoop下载地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz2.jdk下载地址：https://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html注：...
2018-09-25 23:06:32
676
原创 MySQL多表联查
cate 分类表idname1衣服2裤子3鞋子goods 产品表idnamepricecate_id1衣服11112衣服21213裤子12124裤子22225裙子1420当我们想一次性查询出产品和他的分类的名字的时候我们会使用多表联查select cate.name...
2018-09-19 22:03:21
236
原创 数据库优化知识
数据库理论：主管 下属1 下属2 下属3— 字段列A A1 A2 A3B B1 B2C C1D D1 D2 D3 D4(需要增加一个字段存放下属4)第一范式：列不可再分数据表不能因为插入数据而更改表结构主管 下属A A1A A2A A3ID name addre...
2018-09-18 10:12:14
151
原创 MySQL基础
MySQL数据库:存放数据的地方cmd 命令行界面dir 显示该文件夹下面的文件内容cd 目录 进入某个文件夹进入了mysql的bin目录 账号默认rootmysql -u账号 -p密码 链接数据库select version(); 查看版本数据库：一个项目一个数据库show databases; 显示所有数据库 dbuse 数据库名; 使用数据库show t...
2018-09-18 10:01:40
113
原创 linux安装mysql
Mysql的安装使用 MySQL规范的大小写 mysql 关系型数据库 专门存储数据的1.部署mysql 1.1rpm包部署mysql，简单，路径固化，安装目录打散，不适合企业使用 mysql.x86_64 mysql-server.x86_64 1.2二进制编译部署，企业使用这种，可以自己设定路径2.如何安装mysql hackerUn...
2018-09-16 17:52:01
201
原创 JDK安装
我们首先去网上下载jdk的tar包，并且通过上传软件上传到我们的服务器里面在 /usr 下面创建一个文件夹 java mkdir -p /usr/java移动tar包到 /usr/java 下面，并且解压 mv jdkxxxx /usr/java cd /usr/java tar -zvxf jdkxxxx [root@hylct java]# ll tota...
2018-09-16 08:24:17
130
原创 linux常用命令-第三篇
1.查看linux的ip地址1.ifconfig 可查看自己的网络配置信息2.hostname -i 这个需要自己先在 /etc/hosts 文件里面加上自己的ip映射 192.168.0.110 hylct localhost3.ping 主机名 需要在 /etc/hosts 文件里面加上自己的ip映射2.如何判断一个linux的服务是否存活1.查看进程的...
2018-09-15 18:13:12
198
原创 linux centos 桥接模式配置静态网络
查找自己物理机的网卡信息，主要找到 ip，网关，DNS等信息 cmd 进入之后 ipconfig -all查看配置虚拟机信息，可以用 ifconfig 进行查看网卡信息 修改 /etc/sysconfig/network-scripts/ifcfgp-eth0 修改 /etc/sysconfig/network 查看 /etc/resolv.conf...
2018-09-15 17:01:05
160
原创 linux常用命令-第二篇
1. 管道符 |命令1 | 命名2 命令1的结果输入给命令2 grep 过滤符 查找包含的内容 cat b.txt | grep "张三" 先显示b.txt的内容 然后在这个内容里面找张三的行 cat /etc/passwd |grep blue 找到blue的账号信息 wc -l 显示出有多少...
2018-09-09 22:21:30
114
转载 linux中chmod与chown两个命令详解
在linux系统中chmod,chown命令都可以来设置权限了，但它们也是有区别的，下文小编为各位介绍chmod与chown两个命令用法与区别介绍。今天要分享的2个命令也是我们平时常用的，chmod与chown看似拼写还有点差不多，但是两者的用途是不同的。chmod是用来设置文件夹和文件权限的，比如我们在VPS主机中文件不可读写，需要用来设置777权限；而chown是用来设置用户组的，比如授权...
2018-09-09 22:02:06
168
原创 linux常用命令-第一篇
在我们的开发之中，我们会经常在控制台进行操作，进行命令的编写，那么有哪些常用的命令呢？1. clear当我们的控制台的内容太多了的时候，我们可以采用clear清空2. vi命令组 vi 文件 打开文件，如果文件不存在，则新建之后再打开文件 shift+:end 指针直接到末尾esc进入命令行模式 :wq 保存退出 :q 退出3....
2018-09-07 23:52:31
158
原创 centos安装时网络问题
之前是centos5版本的 ，安装了centos6.5之后，发现之前的配置网络的方法出现了问题，百度发现了一个比较快速的解决方法 dhclient 命令使用动态主机配置协议动态的配置网络接口的网络参数 但是出现了能到打开百度 但是不能ping通物理机的现象，果断把物理机的防火墙关闭，问题解决了...
2018-09-06 22:29:22
133
转载 linux服务器搭建-转载师兄的
一、下载CentOSer6.5镜像文件。http://mirrors.usc.edu/pub/linux/distributions/centos/6.5/isos/二、创建新的虚拟机，命名CentOS6.5。1、在VMware Workstatio...
2018-09-06 22:18:11
127
原创 linux服务器搭建
目前我们使用最多的就是windows操作系统，但是作为服务器的话，首选是linux服务器。linux和windows服务器的区别在于： 1.linux下面严格区分大小写 在windows下面，a.txt和A.txt会被当做同一个文件，但是在linux下面的话是不同的两个文件 2.linux下面的文件有严格的权限系统，这点比windows来说的话，安全性更高在服...
2018-09-06 16:47:22
578
原创 大数据开发
这边的大数据的话会学习的内容是： linux 系统 shell 脚本 mysql 最流行的关系型数据库 sql sqlserver数据库 hadoop hive 离线项目 实际项目开发 python 人工智能开发 人工智能...
2018-09-05 21:46:07
134
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人