- 博客(11)
- 资源 (13)
- 收藏
- 关注
原创 Scala 之控制结构(二)
一、for循环Scala中的for循环语句格式如下: for( 变量 <- 表达式) 语句块 其中,“变量<-表达式”被称为“生成器(generator)”二、if 表达式 if 条件表达式,与Java的区别是可以当做表达式来用,可有返回值。三、while 语句 与java的基本一致,不同点是scala同样也可以有返回值。下面直接以代码来表述这些结构package scalaBa
2017-11-30 17:21:12 157
原创 Scala 之初探(一)
注:笔者采用的scala版本是2.11.8先上Hello World 代码,如下:object HelloScala{ def main(args: Array[String]): Unit = { println("Hello World ...") }}下面对scala 一些知识点进行简要说明:一、Scala 数据类型 Scala的数据类型包括:Byte、Char、Shor
2017-11-30 17:17:26 308
原创 Mysql 查看库中各个表数据量、创建更新时间等情况
mysql> USE information_schema;把test库中所以表数据量查出来SELECT table_schema,table_name,table_rows FROM TABLES WHERE TABLE_SCHEMA='test' ORDER BY table_rows DESC;把test库中所有为空的表SELECT table_schema,table_name,t
2017-11-20 18:07:09 6950
原创 安装Mysql
一、安装Mysql * 1、查看当前安装的mysql版本,旧版本的则卸载[root@localhost tomcat]# rpm -qa|grep -i mysql 卸载命令如下:[root@localhost mysql]# rpm -ev mysql-libs-5.1.73-8.el6_8.x86_64 --nodeps注意卸:载时使用了--nodeps选项,忽略了依赖关系,有多个相关
2017-11-15 16:20:27 235
原创 Intelli JDEA 创建Scala项目的三种不同方式
用了好几年的Eclipse,最近想着了解下Scala,听说Intelli JDEA这个工具很强大,因而开始着手试试 Intelli JDEA,下面是运用该工具创建Scala项目的一些简单操作。Scala的拥护者们认为Scala的主要优势是速度和它的表达性。安装完 IJ IDEA 工具以及配置好Scala 环境便可进行Scala 开发了。 IJ IDEA 原本是不支持开发Scala的,因而需要自
2017-11-13 23:28:55 5846 1
原创 Yarn 资源管理
环境说明:HDP2.5 + Ambari 在linux centos6上搭建的集群一、Yarn 资源管理简述:yarn默认提供了两种调度规则,capacity scheduler和fair scheduler。现在使用比较多的是capacity scheduler。具体的实现原理和调度源码可以google一下capacity scheduler。Capacity调度器说的通俗点,可以理解成一个
2017-11-07 21:20:24 4813
原创 测试Hbase 表映射成 Hive表查询效率
准备工作: 1、编写程序将1000万条数据写到Hbase表中; 2、将对应的Hbase表映射成Hive表。在Hive 的shell中执行类似如下的命令 hive> CREATE EXTERNAL TABLE IF NOT EXISTS t_hbase_person_his10(id string, NAME String, salary string,START_DATE string,END
2017-11-07 21:07:37 4087
原创 数据仓库之-历史数据存储方案
现状:隔一段时间去数据中心获取一次数据,每次获取数据时只有极少部分数据会发生变更,但是系统需要溯源数据变更的情况。方案: 现状表+历史表结合的方式: 现状表:即数据的当前、最新状态的表;基本上可以认为是目前的数据不变; 历史表:即保存数据的历史变更记录,通过这个记录可以还原出数据的所有变更情况; 根据业务情况,可以查询现状表或者历史表。技术实现: 将全量数据存储在Hbase中,现状数
2017-11-07 21:06:08 14699
原创 Phoenix 快速入门
一、Phoenix 介绍:Phoenix 操作hbase有两种方式,创建表,创建视图。 区别如下: 创建表的话,就可以对HBase进行插入,查询,删除操作。 视图的话,一般就只可以进行查询操作。 虽然看起来,表的功能,比视图更强大一些。但是就像是mysql等关系型数据库 一样,删除表操作,会将表删掉。但是删除视图操作,却不会影响原始表的结构。 因为使用phoenix 创建...
2017-11-07 21:00:54 5535 1
原创 SmartBi 单点登录的实现
SmartBi 单点登录的实现准备Smartbi服务器加载LoginToken扩展包下载路径: http://wiki.smartbi.com.cn/download/attachments/27001766/logintoken.ext?version=3&modificationDate=1498640793000&api=v2修改SmartBi 的配置登录到 Smartbi 配置管理页面,地
2017-11-07 10:44:10 6660 4
原创 Linux搭建ftp服务器
* 一、检查安装vsftpd软件命令:rpm -qa |grep vsftpd* 二、YUM命令进行安装命令:yum install vsftpd* 三、安装成功后,测试启停服务启动ftp命令#service vsftpd start 停止ftp命令#service vsftpd stop 在开启的情况下重启ftp命令#service vsftpd restart* 四、FTP添加用户 创建用
2017-11-03 00:19:53 1613
JavaSE_Android精华版2.0.chm
2017-11-21
hadoop2.7.2的winutils.exe、hadoop.dll、hadoop-eclipse-plugin-2.7.2.jar
2017-02-25
Spark高级数据分析 (美) sandy ryza;uri laserson; 龚少成(译) 人民邮电出版社 2015-11-01.pdf
2016-08-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人