hjy1821-CSDN博客

原创 Scala编程语言学习总结

&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp

2018-11-05 21:17:02 32463 6

原创 HDFS分布式原理---概念篇

HDFS分布式系统2018年10月9日11:50什么是大数据：短时间内快速的产生海量的多种多样的有价值的数据大数据的技术：分布式存储分布式计算分布式批处理数据积攒一段时间，在未来某一时刻一次性计算一批数据分布式流处理数据实时进行计算，产生一条计算一条分布式存储分布式存储系统，是将数据分散存储在多台独立的设备上，存储“大数据”。举个例子：一位顾客将自己许多的琐碎的小物件...

2020-08-21 14:35:00 1160

原创 16进制字符串与字符串、字节之间的转换

1.字符串与16进制字符串之间的转换 /** * * 字符串转换成十六进制字符串 */ public static String str2HexStr(String str) { char[] chars = "0123456789ABCDEF".toCharArray(); StringBuilder sb = new StringBu...

2019-10-14 14:12:25 522

原创 JQuery---点击获取验证码后倒计时，刷新页面倒计时不失效

     采用通过添加Cookie的方式实现页面刷新后倒计时仍有效，亲测有效！1.Html部分：//导入JS文件<script type="text/javascript" src="../js/jquery.min.js"></script><script type="text/javasc

2019-01-16 09:30:28 1431 3

原创 Jquery相关的<div>标签的隐藏与显示及判断显示或隐藏状态

1.visibility与display之间的区别:     ①div的visibility属性可以控制div的显示和隐藏，但是隐藏后页面显示空白，仅限于隐藏内容，所在位置仍存在。     ②display属性可以使div隐藏后释放占用的页面空间。具体使用： ①<div class="p...

2019-01-10 10:33:27 1448

原创 MyBatis中@Transient注解的作用

       @Transient注解使用在实体类中，实体类中使用@Table注解后，想要添加数据库表中不存在的字段，就要使用@Transient这个注解。       这样可以使与数据库表相对应的实体类有一个表中没有但可以使用的字段，这样可以减少因为一个字

2018-12-19 13:44:57 11813

原创 Hive的表

Hive中表的类型:&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;1.内部表（受控表）：当删除内部表时，HDFS上的数据以及元数据都会被删除&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;2.外部表：当除外部，HDFS上的数据不会被删除但是元数据

2018-10-21 17:36:57 635

原创 Hive原理及Hive的搭建与部署

一、Hive的原理&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;1）Hive简介&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为

2018-10-21 17:11:12 735

原创 MapReduce的代码编写

MapReduce用例代码的编写流程       1)函数入口              ①首先创建配置对象Configurati

2018-10-19 17:27:52 3561

一、准备阶段首先配置本机的环境变量，配置好HADOOP_HOME；在eclipse中安装好插件，以便在eclipse中操作HDFS集群，将hadoop-eclipse-plugin-2.6.0.jar包放入到eclipse安装文件夹下的dropins文件夹中的plugins下，此后重启eclipse即可在eclipse中操作hdfs集群。注意：编写的代码若有操作文件（例如修改、删除等功能）时...

2018-10-15 20:05:57 1089

原创 HDFS学习总结

HDFS（分布式存储）学习总结1.Hadoop的历史Hadoop的作者是dogcutting，在其开发的Lucene数据存储工具的基础上实现的Hadoop；Hadoop的三驾马车分别为：Google发布的GFS、MapReduce、BigTable，这是Hadoop实现的前提论文；Hadoop的生态圈包括：HDFS、MapReduce、yarn、common。2.HDFS存储原理1）Nam...

2018-10-14 14:08:15 737

原创 CentOS6.5下搭建高可用完全分布式

一、什么是高可用性 “高可用性”（High Availability）通常来描述一个系统经过专门的设计，从而减少停工时间，而保持其服务的高度可用性。高可用集群是指以减少服务中断时间为目的的服务器集群技术。它通过保护用户的业务程序对外不间断提供的服务，把因软件/硬件/人为造成的故障对业务的影响降低到最小程度。为此我们在完全分布式系统的基础上加入了ZooKeeper、Journa...

2018-10-12 23:27:05 657

原创 CentOS6.5下搭建完全分布式HDFS

一、准备阶段1.首先安装好四台虚拟机分别作为一台nameNode与三台dataNode，最好规范命名方便操作，例如node01、node02等2.将四台虚拟机的IP配置好，让其使用固定的静态IP，以防动态分配IP，方法为：首先进入 cd /etc/sysconfig/network-scripts/vi ifcfg-eth0 修改文件修改：ONBOOT=yes ...

2018-10-10 19:58:04 513

原创 CentOS下HDFS伪分布式搭建

(1) 配置免密登录 node01->node01① ssh-keygen -t rsa （此处一路回车即可）② ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01(2) 配置JDK再次之前先检查系统中是否有已安装好的jdk：java -version若以后jkd版本要先卸载掉，方法参照：https://www.cnblogs.com/...

2018-10-09 21:03:38 325

hjy1821的博客