- 博客(14)
- 收藏
- 关注
RSS订阅原创 Python学习中遇到的报错解决
modulenotfounderror: no module named 'pytest'需要按照这个模块，解决方法：Terminal 里 pip3 install pytest以后遇到这一类问题都可以用这个方法来安装包
2021-01-09 17:05:39
361
原创 sql 练习
CREATE TABLE `course` ( `CId` varchar(10) DEFAULT NULL, `Cname` varchar(10) DEFAULT NULL, `TId` varchar(10) DEFAULT NULL) ENGINE=InnoDB DEFAULT CHARSET=utf8 CREATE TABLE `sc` ( `SId` varch...
2019-01-26 13:28:52
183
转载 Hbase 安装配置时HMaster启动后宕机的解决方法
Hbase 安装配置时HMaster启动后宕机的解决方法问题：启动HBase后，出现2014-03-15 11:55:22,153 ERROR org.apache.hadoop.hbase.master.HMasterCommandLine: Failed to start masterjava.lang.RuntimeException: HMaster AbortedHMast...
2018-08-11 12:48:35
1227
原创 hive性能调优
1、内部表和外部表的区别创建函数的区别删除外部表元数据不删除，删除内部表表和元数据一起删除如果想实现数据的安全性和共享性，就使用外部表2、hive优化hive QL数据查询语言：利用分区表优化 利用桶优化 j...
2018-07-29 22:49:02
476
转载 不小心删除了myeclipse下新建项目里面的J2EE 5 libraries 和 JRE System Library
不小心删除了myeclipse下新建项目里面的J2EE 5 libraries 和 JRE System Library怎么恢复回去啊，急！yelugui | 浏览 7316 次 |举报 我来答推荐于2018-03-11 21:20:13最佳答案右键击点项目名，弹出菜单选择Properties,弹出窗口左侧选择"Java Build Path"，右侧选择"Libraries"标签...
2018-07-26 18:43:42
244
原创 hive
hive是做大规模分析的，借用HDFS作为底层存储，用MapReduce作为执行层，所以hive使用HQL作为查询接口层。先开集群，再开MySQL最后开hive.如果要用Linux的命令，在前面加！号用Hadoop命令的时候吧fs改成dfs。...
2018-07-25 00:02:41
133
转载 hive 查询表，返回数据全是null
Hive查询表，返回数据全是NULL情况1：hive> create table users(id int, name string);hive> load data local inpath '/usr/local/users.txt' into table users;其中“/usr/local/users.txt”的内容为下面所示，每一行的（id，name）之间使...
2018-07-24 20:45:37
1664
1
转载 安装hive时遇到的问题
Logging initialized using configuration in jar:file:/hive/apache-hive-1.1.0-bin/lib/hive-common-1.1.0.jar!/hive-log4j.propertiesSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found bindin...
2018-07-17 23:16:19
549
原创 YARN
1、YARN是一种新的Hadoop资源管理器，是一个通用资源管理系统，为上层应用程序提供统一的资源管理和调度，为集群在利用率、资源统一管理和数据共享等方面带来巨大好处。2、YARN的架构3、namenode实现HA是通过共享editlog，editlog是存储在journode，ZKFC是一个单独的进程。. resourcemanager实现HA是通过 zookeeper...
2018-07-16 21:26:35
240
原创 Hadoop分布式集群搭建过程问题总结
1、使用ll命令和chown命令对zookeeper文件的拥有者进行修改后，在普通用户hadoop下启动zookeeper，但是报一下错误： [hadoop@Slave1 zookeeper]$ bin/zkServer.sh startJMX enabled by defaultUsing config: /usr/local/zookeeper/bin/../conf...
2018-07-14 22:53:01
298
转载 五大视频 自定义inputformat
import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.WritableComparable;/** * * @author yangjun * @function 自定义对象 */public class TVPlayData implem...
2018-07-14 22:21:12
169
原创 MapReduce深入剖析
1、流程：inputformat--mapper--patitioner--reduce--outputformat2、split个数的确定：520M的文件 一个block为128M 则split的个数为4 4*128=512 剩下的8<128*0.1 则这个8可以和上一个split一起处理如果两个文件 一个5个块，一个3个块，有四个split，则需要几个map（不能跨文件）?需要2个...
2018-07-12 22:00:56
620
转载 查找相同字母组成的字谜
import java.io.IOException;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.util.Arrays;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;...
2018-07-12 19:36:52
355
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人