2018年05月_吃鱼的羊

转载查看hive配置

在启动hive时设置配置属性信息$ bin/hive --hiveconf <property=value>查看当前所有的配置信息hive > set ;hive >set hive.metastore.uris;hive (db_hive)> set system:user.name ;system:user.name=roothive (db_hive)> ...

2018-05-29 15:40:52 7643

转载 hive安装--设置mysql为远端metastore

作业任务：安装Hive，有条件的同学可考虑用mysql作为元数据库安装（有一定难度，可以获得老师极度赞赏），安装完成后做简单SQL操作测试。将安装过程和最后测试成功的界面抓图提交 . 已有的当前虚拟机：总共三台虚拟机，使用CentOS。一台是NameNode，另两台为DataNode，由于搭载虚拟机的内存不是很足，所以不打算再新增一台虚拟机来另外安装mysql，所以选择其中一台datanode...

2018-05-29 14:04:24 1274

转载 java中存储机制堆栈

一、java的六种存储地址及解释1）寄存器(register)：这是最快的存储区，因为它位于不同于其他存储区的地方——处理器内部。但是寄存器的数量极其有限，所以寄存器由编译器根据需求进行分配。你不能直接控制，也不能在程序中感觉到寄存器存在的任何迹象。 2）堆栈(stack)：位于通用RAM中，但通过它的“堆栈指针”可以从处理器哪里获得支持。堆栈指针若向下移动，则分配新的内存；若...

2018-05-25 18:53:10 310

转载 Java，哈希码以及equals和==的区别

https://www.cnblogs.com/zyj-bozhou/p/6733309.html 从开始学习Java，哈希码以及equals和==的区别就一直困扰着我。要想明白equals和==的区别首先应该了解什么是哈希码，因为在jdk的类库中不管是object实现的equals()方法还是String重写的equals()方法以及其它基本数据类型的包装类重写的euqals()方法,...

2018-05-25 18:48:28 721 1

转载动态类型语言和静态类型语言

https://www.cnblogs.com/liuning8023/p/4286044.html 动态类型语言和静态类型语言本文主要说明动态类型语言和静态类型语言。类型检查所进行的检验处理以及实行类型的约束，可发生在编译时期（静态检查）或运行时期（动态检查）。静态类型检查是在编译器所进行语义分析中进行的。如果一个语言强制实行类型规则就称此处理为强类型（或静态类型），反之称为弱类型（或动态类...

2018-05-24 15:54:33 6834

转载 Linux 常用命令——cat, tac, nl, more, less, head, tail, od

1. cat 由第一行开始显示文件内容2. tac 由最后一行开始显示文件内容（刚好和cat字母相反）3. nl 按行号显示文件内容4. more 一页一页翻动的读取5. less 在more基础上增加向前翻页和向前查找6. head 只显示前几行7. tail 只显示后几行8. od 按二进制显示...

2018-05-23 15:17:33 457

转载 shell中条件判断if中的-z到-d的意思

shell中条件判断if中的-z到-d的意思 [ -a FILE ] 如果 FILE 存在则为真。 [ -b FILE ] 如果 FILE 存在且是一个块特殊文件则为真。[ -c FILE ] 如果 FILE 存在且是一个字特殊文件则为真。 [ -d FILE ] 如果 FILE 存在且是一个目录则为真。 [ -e FILE ] 如果 FILE 存在则为真。[ -f FILE ] 如果 FILE ...

2018-05-22 16:09:10 984

转载 Quartz使用总结

Quartz可以用来做什么？Quartz是一个任务调度框架。比如你遇到这样的问题想每月25号，信用卡自动还款想每年4月1日自己给当年暗恋女神发一封匿名贺卡想每隔1小时，备份一下自己的爱情动作片学习笔记到云盘这些问题总结起来就是：在某一个有规律的时间点干某件事。并且时间的触发的条件可以非常复杂（比如每月最后一个工作日的17:50），复杂到需要一个专门的框架来干这个事。 Quartz就是来干这样的事...

2018-05-21 14:48:52 139

转载 shell中将字符串转换成数字

我有一个字符串“96.56”，怎样才能将它转换成一个小数，或者是一个整数96也行。 shell中无需转换，可以直接用作数字。转换成整数：# echo "96.56"| awk '{print int($0)}'96追问那如果我要将“.21”（这是从文件中读出来的，表示0.21）拿来与1比较大小，写在if判断中，我该怎么做？追答shell中的test语句只能用于整数判断，要判断小数用awk吧，awk...

2018-05-21 14:16:10 153711 1

转载通过Java字节码发现有趣的内幕之String篇--引用相等性

很多时候我们在编写Java代码时，判断和猜测代码问题时主要是通过运行结果来得到答案，本博文主要是想通过Java字节码的方式来进一步求证我们已知的东西。这里没有对Java字节码知识进行介绍，如果想了解更多的Java字节码或对其感兴趣的朋友可以先阅读字节码基础：JVM字节码初探。String字面量可以通过’==’判断两个字符串是否相同，是因为大家都知道’==’是用来判断两个对象的值引用地址是否一致，两...

2018-05-10 14:16:23 388

转载聊聊Java的字节码

一、什么是Java字节码？借用Algorithm(4th)节选：它是程序的一种低级表示，可以运行于Java虚拟机上。将程序抽象成字节码可以保证Java程序在各种设备上的运行。OK，这个回答可以让我们回到程序执行上来看下一个问题：二、程序是怎么执行的？学习过计算机的同学都应该深恶痛绝一门课程——编译原理，这门课程的主要目的就是向你解释你所见所写的代码的执行过程。我们通常使用的C++、Java、pyt...

2018-05-10 10:45:23 662

转载如何在Hadoop上编写MapReduce程序

Category: hadoop 1.0 View: 43,461 Author: Donghttp://dongxicheng.org/mapreduce/writing-hadoop-programes/1. 概述1970年，IBM的研究员E.F.Codd博士在刊物《Communication of the ACM》上发表了一篇名为“A Relational Model of Data for...

2018-05-10 10:15:54 1266

转载 Hadoop学习之旅二：HDFS

本文基于Hadoop1.X概述分布式文件系统主要用来解决如下几个问题：读写大文件加速运算对于某些体积巨大的文件，比如其大小超过了计算机文件系统所能存放的最大限制或者是其大小甚至超过了计算机整个硬盘的容量的文件，这时需要将文件分割为若干较小的块，然后将这些块按照一定的规则分放在集群中若干台节点计算机里。分布式文件系统的另一个作用是加速运算，在多台计算机上对每个子文件进行计算最后再汇总结果通常比在一台...

2018-05-09 18:45:55 169

转载 Hadoop学习之旅一：Hello Hadoop

开篇概述随着计算机网络基础设施的完善，社交网络和电商的发展以及物连网的推进，产生了越来越多的大数据，使得人工智能最近几年也有了长足的发展（可供机器学习的样本数据量足够大了），大数据的存储和处理也越来越重要，国家对此也比较重视（可上网搜索关键字“大数据白皮书”关键字，以了解详细情况），会长决定和年轻人也一块儿学习一下，于是报了网易云课堂的课程，不定时将学习到的东西整理为博客，此乃开篇。学习大数据必先...

2018-05-09 18:44:34 144

转载 Hadoop学习之旅三：MapReduce

MapReduce编程模型在Google的一篇重要的论文MapReduce: Simplified Data Processing on Large Clusters中提到，Google公司有大量的诸如Web请求日志、爬虫抓取的文档之类的数据需要处理，由于数据量巨大，只能将其分散在成百上千台机器上处理，如何处理并行计算、如何分发数据、如何处理错误，所有这些问题综合在一起,需要大量的代码处理，因此也...

2018-05-09 18:43:13 165

转载 Hive自定义函数(UDF、UDAF)

https://blog.csdn.net/scgaliguodong123_/article/details/46993005当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数。UDF用户自定义函数（user defined function)–针对单条记录。创建函数流程 1、自定义一个Java类 2、继承UDF类 3、重写evaluate方法 4、打成jar...

2018-05-08 18:33:37 1294

转载 hive之udf/udaf/udtf

https://blog.csdn.net/erliang20088/article/details/78685409目录 1、udf 2、udaf 3、udtf 4、练习题详情 1、udf(user defined function)背景系统内置函数无法解决实际的业务问题，需要开发者自己编写函数实现自身的业务实现诉求。应用场景非常多，面临的业务不同导致个性化实现很多，故udf很需要。意义函数扩展...

2018-05-08 16:42:59 1135

hellojoy的博客