hadoop
xutao_ccu
这个作者很懒,什么都没留下…
展开
-
hadoop的APIdemo 181202
通过java对hdfs文件的读取操作 public class apidemo { public static void main(String[] args) throws IOException { Configuration conf = new Configuration();//通过configuration 找到class path 下的 core_site...原创 2018-12-02 21:25:35 · 89 阅读 · 0 评论 -
Hadoop javaAPI运行append时报错 lease recovery is in progress 处理办法
如集群节点少于3个在运行时就会抛异常;解决方案修改【dfs.client.block.write.replace-datanode-on-failure.policy=NEVER】 Configuration conf = new Configuration(); conf.set("dfs.client.block.write.replace-datanode-on-failure.poli...原创 2018-12-02 23:32:49 · 4056 阅读 · 0 评论 -
Hadoop api访问 01读取文件练习
//编译工具 eclipse import java.net.MalformedURLException; import java.net.URL; public class FangWenDemo { static{ URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); } /...原创 2018-12-02 00:41:51 · 302 阅读 · 0 评论 -
Binary search 二分查找(java)
二分查找 二分查找可能是最常见的笔试考题之一 package binarySearchDemo; import java.util.Scanner; public class binary_search { public static void main(String[] args) { Integer [] arr = new Integer [] {2,4,...原创 2018-12-20 22:31:52 · 238 阅读 · 0 评论 -
zookeeper入门
zookeeper主要是做分布式系统的协调服务的 高可用性: zookeeper通过复制实现高可用,只要集群半数以上仍然正常工作zookeeper便可提供服务这也是为什么集群一般都是奇数节点的原因。 举例:当集群节点数为5 坏掉两个 剩下三个 仍然有半数以上的节点正常 如果节点数为6 坏点三个 剩下三个便不满足大于半数节点的要求 最多只能坏掉两个 这就是为什么节点数一...原创 2018-12-29 04:22:35 · 108 阅读 · 0 评论 -
redis入门
nosql数据库 高性能的kv键值对 缓存的内存数据库 (不像sql那种表结构) key的类型是byte[] 可能传的是string但是会被转化为byte[] value的类型 支撑多种数据结构 例如 list set hashmap (内部还分kv) 应用场景:多半用来做缓存 特定场景下可以替换传统数据库 特性 1 访问速度快 2 安全性好(有两种数据持久化机制 1:du...原创 2018-12-29 04:38:39 · 87 阅读 · 0 评论 -
hive学习笔记管理表外部表静态分区动态分区
正常使用create关键字创建的表都是管理表 table_type都是MANAGED_TABLE 内部表的特性是将内部表的数据移动到对应{hive.metastore.warehouse.dir}的DataNode上 在删除内部表是会在删除元数据的同时删除数据 外部表创建的关键字是external 由local标识数据存储的位置,在drop表的时候外部表的删除的时候只会删除元数据而不会删...原创 2019-04-06 20:58:08 · 915 阅读 · 0 评论