关闭

maven构建CDH开发环境

1.配置远程仓库 cloudera-releases https://repository.cloudera.com/artifactory/cloudera-repos true</en...
阅读(15) 评论(0)

Git 实践 idea (持续更新)

一。 1.idea上进行github配置。配置远程仓库 git remote add origin xxxxx 2.创建代码库并上传到github二。 创建分支 git branch MyTest 切换到分支 git checkout MyTest修改相关文件后提交到代码库 git add . git commit -m “branch test”上传分支到githubgit pu...
阅读(19) 评论(0)

zookeeper javaapi 的使用测试

http://search.maven.org/中查询到zookeeper的依赖在pom.xml中加入 org.apache.zookeeper zookeeper 3.4.5 创...
阅读(87) 评论(0)

zookeeper 集群安装

zookeeper有这样一个特性:集群中只要有过半的机器是正常工作的,那么整个集群对外就是可用的也就是说zookeeper需要安装在奇数台机器上(一台和两台效果是一样的)安装步骤 1.解压zookeeper2.配置文件(/conf/zoo.cfg) cp zoo_sample.cfg zoo.cfgvi zoo.cfg设置数据存储路径 dataDir=/home/hadoop/bda/tmp/...
阅读(32) 评论(0)

手动编译Java hdfs访问程序

由于服务器在云端,vpn不好搭建,本地无法调试程序,只要本地写好代码传到服务器去编译运行了. 不知道有没有好的远程访问hdfs的访问,知道的大神希望能指点一二.1.本地写好java代码传到服务器~/tmp/lib/java_example目录下import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileS...
阅读(36) 评论(0)

最大公因数-欧几里得算法

public int gcd(int m, int n){ int rem; while(n > 0){ rem = m % n; m = n; n= rem; } return m; }...
阅读(24) 评论(0)

最大子序列最佳解法

public int maxSubsequenceSum(int[] arr){ int nowSum = 0; int max = 0; for(int num : arr){ nowSum += num; if(nowSum > max ){ max = nowSum; } if(no...
阅读(15) 评论(0)

HDFS-数据块

1.hdfs 数据块默认为128m 目的是减少寻址开销,使得寻址时间远小于从磁盘传输的时间2.带来的好处: (1)一个文件的大小可以大于网络中任意一个磁盘的容量 (2)使用抽象块而非整个文件作为存储单元,大大简化了存储子系统的设计: 由于块的大小是固定的,因此计算单个磁盘能存储多个块就相对容易。 消除了对元数据的顾虑(块只是要存储的大块数据,而文件的元数据,如权限信息,并不需要与块一起存储...
阅读(93) 评论(0)

hadoop简单集群搭建

之前已经实现单台的伪分布集群。现在通过四台服务器来实现集群分布式1.ssh-keygen -t rsa 2.使用ssh-copy-id -i ~/.ssh/id_dsa.pub hadoopX分发到各个主机上 3.配置hadoop-env.sh export JAVA_HOME = 4.配置core-site.xml fs.defaultFS</n...
阅读(37) 评论(0)

关于阿里云不同vpc下的内网互通

最近弄了四台阿里云服务器,都是学生机,专有网络,分别在两个账户下。无奈,便宜的东西就是不方便,在两个账号下不说,在同一个账号下的两个服务器还不在同一个vpc下,折腾了两天,终于使这四台服务器两两内网互通了,中途遇到了好多坑,在此记录一下。(由于学生机外网速度实在太慢,服务器之间传输通过互联网实在是不可取的行为,因此必须要实现内网互通)首先两个账号假设为ABA之下有两个vpcid 分别是AV1 和 A...
阅读(374) 评论(0)

centos7 防火墙开闭

1、firewalld的基本使用 启动: systemctl start firewalld 查看状态: systemctl status firewalld 停止: systemctl disable firewalld 禁用: systemctl stop firewalld2.systemctl是CentOS7的服务管理工具中主要的工具,它融合之前service和chkconfig的...
阅读(89) 评论(0)

hadoop伪分布环境搭建

1.配置java环境变量 vi /etc/hadoop/hadoop-env.sh2.配置core-site.xmletc/hadoop/core-site.xml: fs.defaultFS hdfs://localhost:9000 3.配置hdfs_site.xml etc/...
阅读(63) 评论(0)

介绍RAID 6阵列基础中擦除码的工作原理及作用

你将学到的:RAID 6正在迅速成为现代存储系统的一个标准部件,几乎每个大中型阵列都增加了这个功能。我们来告诉你为什么RAID 6中的擦除码使得当今的高容量磁盘可以被使用,而且使其不用担心无法恢复读错误引起数据丢失。  数据存储行业依靠一些基本的技术已经超过30年了,而这里面最重要的就是独立磁盘冗余阵列(RAID)的概念。然而传统RAID所依托的数学原理正在被替换,以应对磁盘容量的增加和更高灵活性的...
阅读(52) 评论(0)

HDFS Erasure Coding

为什么要使用HDFS Erasure Coding多副本的存储是昂贵的 - HDFS中的默认3x复制方案在存储空间和其他资源(例如,网络带宽)中具有200%的开销。 然而,对于具有相对较低I / O活动的热和冷数据集,在正常操作期间很少访问附加的块副本,但仍然会消耗和第一个副本相同的资源量 因此,自然的改进是使用擦除编码(EC)代替复制,这提供了相同级别的容错能力,而且存储空间更少。 在典型的擦除编...
阅读(60) 评论(0)

Java中Runnable和Thread的区别

Java中Runnable和Thread的区别 在java中可有两种方式实现多线程,一种是继承Thread类,一种是实现Runnable接口;Thread类是在java.lang包中定义的。一个类只要继承了Thread类同时覆写了本类中的run()方法就可以实现多线程操作了,但是一个类只能继承一个父类,这是此方法的局限。 作者:wwww1988600来源:wwww1988600的博客|...
阅读(77) 评论(0)

java流 学习资料

Java IO流学习总结 Java流操作有关的类或接口: Java流类图结构:   流的概念和作用 流是一组有顺序的,有起点和终点的字节集合,是对数据传输的总称或抽象。即数据在两设备间的传输称为流,流的本质是数据传输,根据数据传输特性将流抽象为各种类,方便更直观的进行数据操作。  IO流的分类 根据处理数据类型的不同分为:字符流和字节流根据数据...
阅读(55) 评论(0)
    个人资料
    • 访问:1122次
    • 积分:123
    • 等级:
    • 排名:千里之外
    • 原创:10篇
    • 转载:5篇
    • 译文:1篇
    • 评论:0条
    文章存档