2018年06月_奔跑的小鲫鱼

原创【Linux】Linux中变量#,@,0,1,2,*,$$,$?的解释

我们先写一个简单的脚本，执行以后再解释各个变量的意义# touch variable # vi variable脚本内容如下：#!/bin/shecho "number:$#"echo "scname:$0"echo "first :$1"echo "second:$2"echo "argume:$@"e

2018-06-28 23:51:12 971 1

原创【git】源代码管理工具 GIT的使用步骤的详细讲解

是否显示隐藏文件夹的终端命令：defaults write com.apple.finder AppleShowAllFiles YESdefaults write com.apple.finder AppleShowAllFiles YES1.git工作原理和g （1）工作区：仓库文件夹里除了.git目录以外的内容；（2）版本库：.git目录，用于存储记录版本信息...

2018-06-28 00:29:29 873 1

原创【Java】Java 8 新特性-----Lambda 表达式

一、Lambda 表达式的主要改进点Lambda 表达式，也可称为闭包，它是推动 Java 8 发布的最重要新特性。 Lambda 允许把函数作为一个方法的参数（函数作为参数传递进方法中）。使用 Lambda 表达式可以使代码变的更加简洁紧凑。二、以下是lambda表达式的重要特征可选类型声明：不需要声明参数类型，编译器可以统一识别参数值。可选的参数圆括号：一个参数无需定义圆...

2018-06-27 20:03:16 222 1

原创【Java】JDK1.8新特性Date类----日期/时间改进

一、为什么我们需要新的Java日期/时间API？1.8之前JDK自带的日期处理类非常不方便，我们处理的时候经常是使用的第三方工具包，比如commons-lang包等。不过1.8出现之后这个改观了很多，比如日期时间的创建、比较、调整、格式化、时间间隔等。这些类都在java.time包下。比原来实用了很多。二、Java8日期/时间API的特点不变性：新的日期/时间API中，所有的类都是不可...

2018-06-27 19:47:48 17032 1

原创【hive】Hive的安装过程与配置的详解

1.上传、解压、Hive的安装 2.查看是否安装成功 3.将配置文件修改名字之后，如下图所示 4.将配置文件通过notepad++来打开修改好的配置文件，配置的内容如下图所示 5.配置好XML文件之后，本质内容在该网站上有：https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin 6...

2018-06-24 19:36:41 3173

原创【mysql】在Linux中通过yum安装MySQL数据库，可以实现远程登录数据库

1.查看原有的MySQL并且卸载（rpm -qa | grep mysql*(查看)，（卸载）rpm -e –nodeps mysqlname） 2.通过 yum install -y mysql mysql-server安装 3.启动MySQL服务：service mysqld start 4.Sudo chkconfig MySQLd on设置开机启动以及查看Sudo ...

2018-06-24 19:18:04 286

原创【Java】使用MapReduce程序统计UV数量

1.UV的概念 UV:unique view—》一天内访问网站的用户数下面是统计UV的代码：首先是MapReduce类的代码package com.huadian.bigdata.webloguv07;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;im...

2018-06-24 15:36:54 1383

原创【Java】使用MapReduce程序统计PV数量

1..网站日志分析 -》网站的基本指标 pv:page view—》打开多个页面累加 uv:unique view—》一天内访问网站的用户数 vv:visit view —》访客的访问次数，一天内，用户访问了多少次网站 session ip:独立ip数 -》统计网站指标的作用：数据变现—》具体的体现—》按钮位置—》页面来源比如：Google和百度...

2018-06-24 00:45:16 1622

原创【Java】MapReduce 程序五步走的思想详细描述

1.MapReduce 的计算过程 =》分布式计算模型 =》input =》mapper =》shuffle =》reducer =》output2..YARN分布式：主从 ResourceManager：特点—》资源管理、任务调度、管理从节点 NodeMa...

2018-06-24 00:33:35 484

原创【Java】MapReduce编程的编程思想以及基于Hadoop的Wordcount的程序的实现

1.MapReduce编程的编程思想(比如该文件就只输入三行，如下面所示)hive spark hive hbasehadoop hive sparksqoop flume scala（0，“hive spark hive hbase”）（22，“hadoop hive spark”）（40，“sqoop flume scala”）输出：（hive,1）,(spark,1）...

2018-06-18 22:49:51 820 1

原创【MySQL】MySQL中的查询语句的详解----等值连接、左连接、右连接、全连接

用两个表（t_worker,t_depart），关联字段t_worker.deptno和t_depart.deptno来演示一下MySQL的等值连接、左连接、右连接、全连接。数据库表：t_worker,t_depart表1表2下面是有关等值连接、左连接、右连接、全连接相关概念等值连接：在连接条件中使用等于号(=)运算符比较被连接列的列值，其查询结果...

2018-06-16 00:04:30 20853 1

原创大数据？这些你了解吗？------之基础知识篇

1、导入虚拟机 =》解压=》英文目录下=》导入VMware中【已移动】=》超级管理员用户root/1234562、为了保证我们所有人虚拟机保持一致：修改VMware Vmnt8的适配器网段地址192.169.59.03、虚拟机配置约束-->职业化：使用普通用户 huadian/huadian：主机名：bigdata-hpsk01.huadian.com4、基本操作(root用户来操作)：创...

2018-06-12 15:49:35 398 2

原创【SVN】SVN 的使用新手指南，具体到步骤详细介绍----TortoiseSVN

一.客户端的使用：TortoiseSVN（下载地址：https://pan.baidu.com/s/14cAEV5ZfMA9mLlQAb4oznw 这里有包含中文版的语言包）1.先下载安装（这个英文版的，如果你想要使用中文版的，可以下载一个语言包）2.安装好之后，然后一路next即可安装。安装完毕后，在任意地方右键查看快捷菜单。发现TortoiseSVN即表示安装成功。3.使用说明3.1检出项目...

2018-06-12 15:22:10 1371 3

原创【Hadoop】在Linux中的Hadoop部署与yarn HDFS MapReduce 的配置中常见的问题？你解决了吗？

（1）浏览器问题当你配置都完成了，你输入主机名+端口号去访问时，不能访问，但是你得确定前面的配置的哪些步骤都没有错，这可能是你浏览器的问题，我推荐用Chrome或者火狐，这两个基本上是可以的。（2）域名问题当你输入IP地址+端口号能访问时，这时你就得看看你的Windows上的映射是否配置成功，可能是在你在配置Windows中的映射的时候配置错了或者是你没有配置。C:...

2018-06-10 16:09:53 606 2

原创【Hadoop】MapReduce的配置 ---配置历史服务器

下面介绍MapReduce的配置相关介绍：并行计算框架（2.X），思想：分而治之核心： Map：并行处理数据，将数据分割，一部分一部分的处理 Reduce：将Map的处理结果进行合并。配置 cd {Hadoop_home}/etc/hadoop cp mapred-site.xml.template mapred-site.xml 因为Hadoop里面没有mapred-site.x...

2018-06-10 14:57:54 1108 4

原创【Hadoop】伪分布式安装---MapReduce程序运行到YARN上，编写MapReduce程序---HDFS yarn

在我的虚拟机（Linux）上安装的Hadoop是2.7.3版本的，安装过程可以参考这个网站，也可以下载。http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation（1）首先先传解压（2）查看目录结构需要删除bin/*.cm...

2018-06-10 14:38:24 415 1

原创【Linux】安装前的准备-----安装纯净版的虚拟机的步骤

伪分布式安装部署在一台机器上安装部署HDFS和YARN服务。相关服务都属于java进程，就是启动JVM服务，这些进程运行在一台机器上。规划Linux系统的目录结构以系统/opt目录为主安装软件包。 /opt /datas测试数据 /softwares软件包，上传的软件包 /mudules...

2018-06-08 23:37:54 838

原创【组件】大数据框架安装功能来划分

海量数据存储： HDFS、Hive（本质存储数据还是hdfs）、HBASE、ES海量数据分析： MapReduce、Spark、SQL最原始的Hadoop框架数据存储：HDFS（Hadoop Distributed File System）数据分析：MapReduceHadoop的起源 Google的三篇论文（推荐看这篇博客 https://blog....

2018-06-08 23:34:16 227 1

原创【Linux】Linux环境的搭建

虚拟化软件虚拟出一台计算机(memory，CPU core，硬盘) Linux centos 6.4 Apple i7 + 512SSD + 16G + 2G AMD VMware 12.X安装虚拟机过程 1、导入虚拟机 =》解压 =》英文目录下 =》导入VMware中...

2018-06-08 23:31:22 188 1

原创大数据需要学什么

第一方面：大数据离线分析一般处理T+1数据，这里的T可以代表一天，一周、一个月以及一年等。这里我用的Hadoop的版本是Hadoop 2.X，它有四个模块（common、HDFS、MapReduce、YARN）。下面是Hadoop的四个模块的详细介绍模块介绍 Hadoop common 支持其他模块的工具模块 Hadoop Distributed File System (HDFS) 分布...

2018-06-08 23:29:25 1837 1

原创学习大数据需要的基础

java SE：1.可以说这是Java的核心。 2.用于开发桌面应用程序和基于web的应用程序。 3.它提供了从基本对象到高级类的所有东西，这些类被用于网络、数据库访问、安全、XML解析、GUI开发。 4.除了这些核心api之外，它还提供了虚拟机(JVM)、开发工具、部署技术等。下图JavaSE的发展阶段EE(SSM)：JavaEE是java的一种，有JavaEE、JavaSE和JavaME。SS...

2018-06-08 23:26:12 833

转载 Google引爆大数据时代的三篇论文

Google引爆大数据时代的三篇论文谈到Hadoop的起源，就不得不提Google的三驾马车：Google FS、MapReduce、BigTable。虽然Google没有公布这三个产品的源码，但是他发布了这三个产品的详细设计论文，奠定了风靡全球的大数据算法的基础！一，GFS—-2003 2003年，Google发布Google File System论文，这是一个可扩展的分布式文件系...

2018-06-08 22:56:19 10533

原创【maven】新建一个maven项目的基本配置

（1）在ideal中，通过file----》new project---然后选择maven，如下图截图所示2. 项目的组织名或者公司名的填写3. 选择保存路径以及项目名称编写4. 项目的配置5.最后如果项目出现了一个窗口，请一定要选择自动导入的那个命令，我这里没有那个截图。以上就是基本配置，如果配置成功之后没有出现新建Servlet的话先关掉ideal再重启。就是可以了...

2018-06-08 01:02:52 675

原创【maven】maven入门以及maven常用命令

在企业中的开发对应三个步骤：开发 -----》测试 --》发布开发环境测试环境生产环境硬编码：通过调用Android系统自带的Camera录制视频，实际上是调用了底层的高清编码硬件模块，也即显卡，不使用CPU，速度快软编码：使用CPU进行编...

2018-06-08 00:56:33 180

原创【maven】maven的介绍

一、Maven简介Maven是一个跨平台的项目管理工具。作为Apache组织的一个颇为成功的开源项目，其主要服务于基于Java平台的项目创建，依赖管理和项目信息管理。maven是Apache的顶级项目，解释为“专家，内行”，它是一个项目管理的工具，maven自身是纯java开发的（ Theresult is a tool that can now be used for building and ...

2018-06-08 00:35:36 5833

原创去IOE的简单介绍

概念它是阿里巴巴造出的概念。其本意是，在阿里巴巴的IT架构中，I是指“IBM”,O是指“Oracle”,E是“EMC”。去IOE就是去掉IBM的小型机、Oracle数据库、EMC存储设备，代之在开源软件基础上开发的系统。以IBM、Oracle和EMC为代表的三大国际巨头组成的IT系统一直是中国企业信息化的“黄金搭档”，随着云计算和开源软件技术的成熟应用，这种高大上的“黄金搭档”必将走下...

2018-06-07 10:57:23 8838

原创【Java】java测试--词频统计 ----IO流操作

（1）、新建文本文件data.txt（2）随便输入一些英文单词，单词之间用 “空格”隔开（3）统计各个单词出现的次数。（4）对结果进行排序 a、按照次数进行降序 b、如果次数相同，安装单词的字典顺序排序 public static void main(String[] args) throws IOExcept...

2018-06-06 21:51:22 358

原创【shell】Shell编程的前篇以及通过编程实现,jdk的安装

1.在opt/test/下创建一个目录，目录的名称是当前时间（1）先创建一个test文件，如下图所示在test下创建一个当前时间的文件夹在study.sh脚本文件中编写脚本，创建一个文件夹，下图是编译后的结果截图2.通过编程实现,jdk的安装创建文件夹复制jdk到software文件下安装之后进行测试，判断是否安装成功以及环境变量的配置是否有效...

2018-06-06 21:41:28 131

原创【Linux】Linux软件安装和定时任务

1.Linux软件安装软件类型软件的安装 RPM：Redhat序列特用的软件包 dpkg:debain序列特用的软件包源码包：需要在Linux中进行编译安装 java maven c/C++ gcc 预编译编译：make 安装：make install rpm:安装RPM结尾的软件包检查：rpm -qa | grep java 安装：rpm -ivh XXXX.rp...

2018-06-06 21:33:54 1309

原创【Linux】Linux的关机和虚拟机克隆、快照

1.常用的命令操作命令解释关机 halt init 0 shutdown –h now 重启 reboot init 6 可以通过cat /etc/inittab 该文件中说清楚了init0-6分别是什么意思快照（1）先关机（2）VMware操作使用一段时间后，对Linux进行快照，目标，出现问题了，可以回滚，快照会占用大量的磁盘空间快照设置1....

2018-06-06 20:11:50 1529

原创【Linux】服务管理命令和压缩管理的详细解读

1.服务管理命令操作命令解释查看支持的命令 ll /etc/init.d/ network 网络 iptables 防火墙 service s_name start|stop|status|restart chkconfig 设置开机启动查看 chkconfig iptables --list 设置 chkconfig iptabl...

2018-06-06 19:29:45 210

原创【Linux】Linux中文本编辑器和系统管理命令

1.文本编辑器vi\vim 编辑：vi file_path 如果file_path不存在，保存以后，默认会创建一个文件 3种模式命令解释命令模式 i:进入插入模式 yy:复制当前行。5yy: p:在当前位置复制 dd:删除当前行，5dd u:撤销上一步 gg:跳转到最后一行数字+gg:跳转到指定行，55+gg:跳转到第55行 O:在上一行进入编辑模式 o:在下一行...

2018-06-06 19:22:41 274

原创【Linux】Linux用户和权限管理

一.Linux用户和权限管理用户权限命令管理员用户只有一个，UID=0的用户就是管理员用户，一般情况，默认它的用户名是root，家目录是/root root :x :0: 0: root: /root: /bin/bash 用户名密码 uid gid 组名家目录所用是shell 普通用户自己创建的新用户，默认UID从500开始家目...

2018-06-06 19:15:51 192 1

原创【Linux】Linux中常见的文件管理以及常用的符号命令的总结

一.文件管理的命令以及操作操作命令注意点文件/文件夹创建 touch filename 如果是多个文件，文件名之间用空格隔开（eg:touch "hello word"）创建的是文件 mkdir dirName 文件夹 -p 递归 mkdir -p /a/b/c 如果b不存在，先创建b目录文件夹删除 re...

2018-06-06 19:02:55 381 1

原创【Linux】关于Linux操作系统的配置步骤

1.安装好Linux后，开始配置，下图是配置虚拟机的网段2.接下来配置网段，这里我举的列子是设置它的网段在192.168.59.0网络段，这里配置是为了方便以后的虚拟机里面的Linux操作系统都在同一个网络段。3.然后去修改主机名，这里是通过命令的形式来修改，右键选择下图的标记处，双击，出现接下来的图，修改分为临时性修改和永久性修改，如下图所示4.配置好后就去通过命令的方式去ping，可以ping...

2018-06-03 00:27:05 2455 1

原创【Linux】Linux的常用远程工具

1.SecureCRT快捷键：复制滚轮粘贴：鼠标右键2.notepad++：支持远程编辑的文本编辑器3.Xmanagerxshell：远程命令行xftp:远程文件传输攻击xbrowser:远程桌面相对路径和绝对路径绝对路径：从最底层的根目录（/）开始访问Linux常见命令通用格式命令选项（参数）【操作的文件或者目录】LS -a ...

2018-06-02 23:15:06 32996

原创【Linux】关于Linux操作系统的基本操作

一.Linux介绍1.相关特点（1）自由使用、免费，开源（2）多用户，多任务，多线程，多CPU2.组成Linux的组成是内核+shell（解释器）+文件系统+应用程序内核=内存架构+进程+驱动程序如果有需要看内核的，这里推荐一个官网：https://www.kernel.org/3.Linux应用服务器：Linux是作为服务器用的最多的，redhat,centos(6.x),suse linux以...

2018-06-02 20:56:02 535

wyz0516071128的博客