大数据
跃然实验室
这个作者很懒,什么都没留下…
展开
-
HDFS操作命令
1、HDFS启动sbin/start-dfs.shsbin/start-all.sh如果启动不成功,格式化一下namenode,hdfs namenode -format2、HDFS关闭sbin/stop-dfs.sh 3、查看文件内容hadoop fs -cat /flume/record/2017-09-08/2320/transaction_log.15049...原创 2019-01-10 22:36:40 · 348 阅读 · 0 评论 -
大数据工程师必备JAVA基础知识
java发展简史,主要特征 java运行机制 第一个Java程序,注释4javac,java,javadoc等命令 标识符与关键字 变量的声明,初始化与应用 数据类型(基本,引用) 类型转换 转义字符 Java运算符与表达式 选择控制语句if-else, 选择控制语句switch-case 循环控制语句while 循环控制语句do-while 循环控制语句for与增强型f...转载 2019-02-07 22:52:53 · 214 阅读 · 0 评论 -
Presto安装
Presto安装 Presto Server配置解压缩presto-server-0.166.tar.gz tar zxvf presto-server-0.166.tar.gz 在presto-server-0.166目录下创建etc目录 cd presto-server-0.166 mkdir etc 在etc目录下创建...转载 2019-02-07 22:54:11 · 993 阅读 · 2 评论 -
Hive 安装手册
Hive 安装手册 解压缩hive安装包 tar zxvf apache-hive-2.1.1-bin.tar.gz 安装mysql sudo yum install mysql-server 安装 mysql connector sudo yum install mysql-connector-java 该命令会在/...转载 2019-02-07 22:55:18 · 253 阅读 · 0 评论 -
阿里云DataV功能及案例
一、功能特性1、多种场景模板,解决您的设计难题数据可视化的设计难点不在于图表类型的多,而在于如何能在简单的一页之内让人读懂数据之间的层次与关联,这就关系到色彩、布局、图表的综合运用。DataV 提供指挥中心、地理分析、实时监控、汇报展示等多种场景模版,即便没有设计师,您的可视化作品也有显现出高设计水准。2、多种图表组件,支撑多种数据类型的分析展示除针对业务展示优化过的常规图表外...转载 2019-02-10 16:10:24 · 24356 阅读 · 2 评论 -
可视化大屏设计工具平台
1、阿里云DataV阿里云出品的专业大屏数据可视化服务, 旨在让更多的人看到数据可视化的魅力,帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用,满足您会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。https://data.aliyun.com/visual/datav2、百度SugarSugar是百度推出的数据可视化服务平台,目标是解决报表和大屏...原创 2019-02-10 16:35:21 · 29084 阅读 · 2 评论 -
资源目录管理
资源目录管理系统主要功能包括目录分类、编目、审核发布、查询、权限、版本控制及维护等功能[4]。该系统的主要功能是用于生成目录数据, 其开发基础是核心元数据, 使用者利用该系统能够自动或者手工的从不同信息资源中抽取数据, 并生成需要的目录。用户通过该系统能够按照一定标准对生成的目录进行审核, 审核通过后目录在系统内对外发布;对已经发布的目录, 系统提供运行维护, 内容包括目录的删除、停用、更新、重...转载 2019-03-19 10:39:04 · 6650 阅读 · 0 评论 -
超融合与云计算的区别是什么?
1、相同点:其一、双方都希望通过将网络、计算、存储等资源进行重新规划,得到更好地利用。其二、都向着降低成本,提高弹性可扩展能力方向发展。 2、不同点:超融合还没有云计算做得彻底,从现在的阶段展望,超融合并不是终结者,云计算才是终极形态。 总结:超融合是一种具有颠覆性的技术,它以整机柜的方式进行交付,是一种适合新时代应用需求的交付模式,简化了IT基础架构的部署和应用...转载 2019-07-28 23:03:17 · 3997 阅读 · 0 评论 -
数据降维
为什么要降维?在实际的机器学习项目中,特征选择/降维是必须进行的,因为在数据中存在以下几个 方面的问题: 数据的多重共线性:特征属性之间存在着相互关联关系。多重共线性会导致解的空间不稳定, 从而导致模型的泛化能力弱; 高纬空间样本具有稀疏性,导致模型比较难找到数据特征; 过多的变量会妨碍模型查找规律; 仅仅考虑单个变量对于目标属性的影响可能忽略变量之间的潜在...转载 2019-07-28 23:04:54 · 433 阅读 · 0 评论