大数据
文章平均质量分 77
Vanessa_wanglu
目前从事跨境电商行业,大数据开发工程师,技能:hadoop离线分析,数据ETL,tableau、power BI数据可视化分析
展开
-
数据解析之json串解析
hive数据解析之json串解析原创 2022-10-02 15:30:57 · 1079 阅读 · 0 评论 -
下载安装JDK7
下载并安装JDK7JDK的全称是JavaSE Development Kit,即java开发工具包,是sun公司提供的一套用于开发java应用程序的开发包,它提供了编译、运行java程序所需的各种工具和资源,包括java编译器、java运行时环境,以及常用的java类库等。这是又设计到一个概念:JRE,全称Java Runtime Environment ,java运行时环境。转载 2018-02-04 11:34:47 · 429 阅读 · 0 评论 -
eclipse的使用
Eclipse开发工具Eclipse是功能强大Java集成开发工具。它可以极大地提升我们的开发效率。可以自动编译,检查错误。在公司中,使用的就是Eclipse进行开发。1.1 Eclipse的下载、安装、卸载l 下载 http://www.eclipse.orgl 安装 (只需要解压后就能使用)l 卸载(只需要将文件夹删除就可以了)l 注意: 开发软件的安装目录中,尽量原创 2018-02-04 11:49:48 · 5416 阅读 · 0 评论 -
scala语言简介及其环境安装
scala语言简介及其环境安装 简介:1.运行在JVM 上,兼容java语言 Scala的代码,都需要经过编译为字节码,然后交由Java虚拟机来运行。所以Scala和Java是可以无缝互操作的。Scala 可以任意调用Java的代码。2.当面向对象遇到了函数式编程(Object-Oriented Meets Functional) Sca原创 2018-02-04 12:11:11 · 182 阅读 · 0 评论 -
hue
hue:大数据的web工具,cloudera开源 为以Hadoop为基础的生态系统的其他架构提供了一个统一的友好的web管理界面 官网:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/ hue的应用 hive: bin/hive --hql原创 2018-02-08 16:33:49 · 1140 阅读 · 0 评论 -
oozie
驴妈妈旅游网架构: 1.日志上传: 方法1:定义shell脚本 $ bin/hdfs dfs -put /user/local/nginx/datalog/access.log /nginx 方法2: 使用日志采集框架flume 2.数据清洗: etl : MapReduce任务 3.需求分析:原创 2018-02-08 16:35:15 · 533 阅读 · 0 评论 -
01-HBASE的安装和物理模型
1.传统的关系型数据库 mysql 1. 开源【社区版】,收费版【企业版】2.市场占有率最高特别是在web领域3.安装及操作比oracle简单许多4. 端口:3306 oracle1. 实用环境比较严格2.收费 3.08年收购了mysql 4.MariaDB--相当于是mysql的升级版 5.集群能力比mysql强 --- 10台原创 2018-02-08 16:37:35 · 329 阅读 · 0 评论