大数据开发
文章平均质量分 78
大数据一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
Vanessa_wanglu
目前从事跨境电商行业,大数据开发工程师,技能:hadoop离线分析,数据ETL,tableau、power BI数据可视化分析
展开
-
spark
spark开发原创 2022-10-02 15:51:03 · 158 阅读 · 0 评论 -
复杂度计算
算法:复杂度计算原创 2022-10-02 15:48:06 · 156 阅读 · 0 评论 -
正则匹配表达式
常用正则匹配表达式原创 2022-10-02 15:23:22 · 150 阅读 · 0 评论 -
Maven项目管理工具
Maven项目管理工具1. Maven的简介 1. 什么是maven是apache下的一个开源项目,是纯java开发,并且只是用来管理java项目的2. Maven好处普通的传统项目分析:maven项目为什么这么小?没有jar。 需要jar吗?肯定需要。没有存在于maven项目里面,jar存在于哪?3.依赖管理4.项目一键构建编码原创 2018-02-04 12:06:12 · 210 阅读 · 0 评论 -
01-java基础
Java基础语法 1、Java开发环境搭建 2、HelloWorld案例 3、注释、关键字、标识符 4、数据(数据类型、常量)01.java语言概述A: java语言概述 a: Java是sun公司开发的一门编程语言,目前被Oracle公司收购,编程语言就是用来编写软件的。 b: Java的应用 * 开发QQ、迅雷程序(桌面应用软件)原创 2018-02-02 11:15:45 · 619 阅读 · 1 评论 -
02-变量与运算符,商场库存清单案例
Java基础语法原创 2018-02-02 11:28:16 · 676 阅读 · 0 评论 -
03-引用变量,选择与循环语句,猜数字小游戏案例
Java基础语法原创 2018-02-02 13:10:45 · 345 阅读 · 0 评论 -
04-switch,数组,随机点名器案例
Java基础语法 1、流程控制语句switch 2、数组 3、随机点名器案例01switch语句解构* A:switch语句解构原创 2018-02-02 14:21:45 · 650 阅读 · 0 评论 -
05-方法
Java基础语法 1、方法基础知识 2、方法高级内容 3、方法案例原创 2018-02-02 15:11:56 · 256 阅读 · 0 评论 -
08-eclipse的使用,超市管理系统
1、Eclipse开发工具2、超市库存管理系统###01Eclipse的下载安装 * A: Eclipse的下载安装 * a: 下载 * http://www.eclipse.org * b: 安装 * 只需要解压后就能使用 * c: 卸载原创 2018-02-06 10:00:45 · 3336 阅读 · 5 评论 -
下载安装JDK7
下载并安装JDK7JDK的全称是JavaSE Development Kit,即java开发工具包,是sun公司提供的一套用于开发java应用程序的开发包,它提供了编译、运行java程序所需的各种工具和资源,包括java编译器、java运行时环境,以及常用的java类库等。这是又设计到一个概念:JRE,全称Java Runtime Environment ,java运行时环境。转载 2018-02-04 11:34:47 · 414 阅读 · 0 评论 -
eclipse的使用
Eclipse开发工具Eclipse是功能强大Java集成开发工具。它可以极大地提升我们的开发效率。可以自动编译,检查错误。在公司中,使用的就是Eclipse进行开发。1.1 Eclipse的下载、安装、卸载l 下载 http://www.eclipse.orgl 安装 (只需要解压后就能使用)l 卸载(只需要将文件夹删除就可以了)l 注意: 开发软件的安装目录中,尽量原创 2018-02-04 11:49:48 · 5397 阅读 · 0 评论 -
Nginx安装文档
Nginx安装文档一、Nginx简介Nginx(发音同 engine x)是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,并在一个BSD-like 协议下发行。由俄罗斯的程序设计师Igor Sysoev所开发,供俄国大型的...原创 2018-02-04 12:08:46 · 410 阅读 · 0 评论 -
MySQL安装图解
在自己电脑上安装MySQL数据库,首先要有安装程序,这是最为关键的一步,下载地址链接:http://pan.baidu.com/s/1slv078L 密码:y2sk下载完安装包之后就可以双击运行开始安装了。双击运行后需要等待几秒才可以进入安装的首界面:一定要勾选 I accept the license terms,然后点击next,进入下一步:在这一步默认选择的是第一项,我们选择第二项-----...原创 2018-02-04 12:13:51 · 3245 阅读 · 0 评论 -
oozie
驴妈妈旅游网架构: 1.日志上传: 方法1:定义shell脚本 $ bin/hdfs dfs -put /user/local/nginx/datalog/access.log /nginx 方法2: 使用日志采集框架flume 2.数据清洗: etl : MapReduce任务 3.需求分析:原创 2018-02-08 16:35:15 · 513 阅读 · 0 评论 -
scala语言简介及其环境安装
scala语言简介及其环境安装 简介:1.运行在JVM 上,兼容java语言 Scala的代码,都需要经过编译为字节码,然后交由Java虚拟机来运行。所以Scala和Java是可以无缝互操作的。Scala 可以任意调用Java的代码。2.当面向对象遇到了函数式编程(Object-Oriented Meets Functional) Sca原创 2018-02-04 12:11:11 · 166 阅读 · 0 评论 -
hue
hue:大数据的web工具,cloudera开源 为以Hadoop为基础的生态系统的其他架构提供了一个统一的友好的web管理界面 官网:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/ hue的应用 hive: bin/hive --hql原创 2018-02-08 16:33:49 · 1097 阅读 · 0 评论 -
Hadoop参数:dfs.name.dir 与 dfs.data.dir
dfs.name.dirDetermines where on the local filesystem the DFS name node should store the name table(fsimage). If this is a comma-delimited list of directories then the name table is replicated in a转载 2017-09-07 11:42:35 · 8033 阅读 · 1 评论 -
01-HBASE的安装和物理模型
1.传统的关系型数据库 mysql 1. 开源【社区版】,收费版【企业版】2.市场占有率最高特别是在web领域3.安装及操作比oracle简单许多4. 端口:3306 oracle1. 实用环境比较严格2.收费 3.08年收购了mysql 4.MariaDB--相当于是mysql的升级版 5.集群能力比mysql强 --- 10台原创 2018-02-08 16:37:35 · 312 阅读 · 0 评论 -
Linux02:jdk安装,权限管理,sudo,压缩指令,软件包rpm,yum
一、回顾 1.GUN/GPL GUN/Linux Linux内核 发行版 2.基础命令 ls ls -l 或者 ll ls -a cd 绝对路径 / 相对路径 回到上一级或者打开下一级目录 用户主目录 /home/username ~ cd pwd原创 2018-02-02 15:30:15 · 369 阅读 · 0 评论 -
shell编程
1.用户管理(用户创建,用户切换,设置或修改密码,删除) 1).超级用户 root 0 2).普通用户 500 3).伪用户 1~499 4).新增用户:# useradd [username] 5).设置或修改密码 第一种:# passwd [userna原创 2017-12-14 10:37:58 · 396 阅读 · 0 评论 -
linux01-centos6.5安装配置,常用指令
1.安装VMware虚拟机软件2.使用VMware安装CentOS操作系统3.安装Linux连接工具PM1.Linux基本概念 Linux内核 GUN/GPL2.基本指令本门课程的定位 1.企业环境中使用的服务器操作系统基本就是Linux系统 2.大数据集群也是搭建在Linxu系统之上一、Linux基本概念1.Linux内核L原创 2018-02-02 15:33:54 · 296 阅读 · 0 评论 -
Linux03:shell编程,date,crontab,if,for,while case
回顾 1.用户管理(用户创建,用户切换,设置或修改密码,删除) 1).超级用户 root 0 2).普通用户 500 3).伪用户 1~499 4).新增用户:# useradd [username] 5).设置或修改密码 第一种:# passwd原创 2018-02-02 16:20:30 · 448 阅读 · 0 评论 -
Linux04-各目录及每个目录的详细介绍
Linux各目录及每个目录的详细介绍 【常见目录说明】目录 /bin存放二进制可执行文件(ls,cat,mkdir等),常用命令一般都在这里。/etc存放系统管理和配置文件/home存放所有用户文件的根目录,是用户主目录的基点,比如用户user的主目录就是原创 2018-02-04 11:25:19 · 181 阅读 · 0 评论 -
Linux05-rpm 执行安装包
rpm 执行安装包二进制包(Binary)以及源代码包(Source)两种。二进制包可以直接安装在计算机中,而源代码包将会由 RPM自动编译、安装。源代码包经常以src.rpm作为后缀名。常用命令组合:-ivh:安装显示安装进度--install--verbose--hash-Uvh:升级软件包--Update;-qpl: 列出RPM软件包内的文件信息[Query Pack原创 2018-02-04 11:27:49 · 401 阅读 · 0 评论 -
Linux06-vim命令集合
Vim命令合集原创 2018-02-04 11:29:16 · 199 阅读 · 3 评论