2019年04月_Try Everything、

原创解决Hadoop namenode无法启动以及修改hdfs的存放位置

#背景重启计算机之后，遇到了一个问题，执行start-all.sh之后，执行JPS命令，发现namenode没有启动。每次开机都得重新格式化一下namenode才可以。#原因：hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。它默认的位置是在/tmp/{$user}下面，但是在/tmp路径下的存储是不安全的，默认的/tmp文件每次重新开机会被清空，与此同时...

2019-04-29 22:33:36 2355

原创 hue-3.9-cdh-5.7.0安装

hue简介Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job,Hive编译HUE安装依赖包[root@h...

2019-04-27 22:21:52 420

转载安装Hue后的一些功能的问题和解决

1、HUE中hive 查询有问题，页面报错：Could not connect to localhost:10000解决方法：在安装的HIVE中启动hiveserver2 &,因为端口号10000是hiveserver2服务的端口号，否则，Hue Web 控制无法执行HIVE 查询。2、Hue中配置DB 查询...

2019-04-27 21:14:38 505

转载 IntelliJ IDEA 2017.3.2 永久破解版安装 + Maven安装

<h1>前言：</h1>从本次课程正式加入到编程的行列中来，以前编程的经验不多，通过此次学习希望可以获得更多的收获。<s...

2019-04-24 17:01:24 640

原创 Scala下载及环境搭建

一． Scala下载及环境搭建1.1. Scala介质确保本地以及安装了 JDK 1.5 以上版本，并且设置了 JAVA_HOME 环境变量及 JDK 的bin目录。我们可以使用以下命令查看是否安装了 Java：[root@hadoop-01 java]# java -versionjava version "1.8.0_45"Java(TM) SE Runtime Environm...

2019-04-24 16:56:31 247

原创 hadoop之使用LZO压缩并支持分片

1.简介：安装LZO:lzo并不是Linux系统原生支持，所以需要下载安装软件包，这里至少需要安装3个软件包。lzo, lzop, hadoop-gpl-packaging。增加索引：gpl-packaging主要作用是对压缩的lzo文件创建索引，否则的话，无论压缩的文件是否大于hdfs上的block大小，都只会是一个分片处理。2.安装lzo并生成数据：2.1生成未压缩的测试数据先...

2019-04-23 17:40:00 690

转载问题以及解决办法：hadoop 不在 sudoers 文件中。此事将被报告

问题来源：我们使用sudo命令，让hadoop用户使用root身份执行命令时报错：[hadoop@mydocker ~]$ sudo date[sudo] password for hadoop:  hadoop 不在 sudoers ...

2019-04-20 11:41:45 720

原创如何确定block损坏的位置和修复

2019-04-20 10:38:37 825

原创 Hadoop源码编译支持压缩

Hadoop-2.6.0-CDH-5.7.0版本编译：软件环境：Hadoop Hadoop-2.6.0-cdh5.7.0-src.tar.gzjdk jdk-7u80-linux-x64.tar.gzmaven apache-maven-3.3.9-bin.tar.gzprotobuf protobuf-2.5.0.tar.g...

2019-04-20 10:10:00 231

原创压缩的好处和坏处

1. 压缩的好处和坏处压缩技术分为有损和无损：大数据场景下我们用到的都是无损；不允许丢失数据好处减少存储磁盘空间降低IO(网络的IO和磁盘的IO) 加快数据在磁盘和网络中的传输速度，从而提高系统的处理速度坏处由于使用数据时，需要先将数据解压，加重CPU负荷压缩在Hadoop中的应用 2. 压缩格式压缩格...

2019-04-19 12:49:02 5682

原创 number of splits 划分的条件

什么是InputSplitInputSplit是指逻辑切片，在MapReduce当中作业中，作为map task最小输入单位，默认是split的大小与block的大小相等，均为128MB。分片是基于文件基础上出来的而来的概念，通俗的理解一个文件可以切分为多少个片段，每个片段包括了<文件名，开始位置，长度，位于哪些主机>等信息。map task的数量由输入文件总大小和分片大小确定的；h...

2019-04-19 12:39:07 990

转载 String SringBuffer StringBuilder区别

　　最近学习到StringBuffer，心中有好些疑问，搜索了一些关于String，StringBuffer，StringBuilder的东西，现在整理一下。关于这三个类在字符串处理中的位置不言而喻，那么他们到底有什么优缺点，到底什么时候该用谁呢？下面我们从以下几点说明一下　　1.三者在执行速度方面的比较：Str...

2019-04-16 19:41:44 155

转载提高oracle查询速度

参看当前排序的方式安排，如果sorts(disk)/sorts(memory)>5%,你就迫切需要进行排序优化了。 Select * from v$sysstat where name like '%sort%';1查询结果 “` 所以我们并不需要调整sort_area_size。因...

2019-04-14 10:44:01 1130

原创 shell脚本发送QQ邮件+附件log文件

1、开启QQ邮箱的SMTP，获取授权码1.1使用QQ邮箱的SMTP，需要做以下配置：2、服务器配置2.1关闭机器的sendmail服务

2019-04-14 10:15:39 821

转载 CSDN-markdown编辑器语法——字体、字号与颜色

CSDN-markdown编辑器是其衍生版本，扩展了Markdown的功能（如表格、脚注、内嵌HTML等等）！对，就是内嵌HTML，接下来要讲的功能就需要使用内嵌HTML的方法来实现。字体、字号与颜色我是黑体字我是微软雅黑<font fa...

2019-04-14 09:35:41 122

原创 shell编程

前言：shell脚本就是常用的date ，pwd，cd等命令堆积在一起的文本格式1.入门shell脚本约定的后缀是.sh（非必需）第一行的#!/bin/bash为解释器（非必需） # linux /bin目录下的bash去执行假如使用sh命令执行脚本文件，可以没有+x 和第一行解释器#!/bin/bash #sh ./test.s...

2019-04-13 12:47:13 180

转载 linux下重启oracle服务：监听器和实例

一、在Linux下重启Oracle数据库及监听器：方法1：用root以ssh登录到linux，打开终端输入以下命令：cd $ORACLE_HOME #进入到oracle的安装目录 dbstart #重启服务器 lsnrctl start #重启监听器方法2：Sql代码方法2：Sql代码方法2：Sql代码cd $ORACLE_HOME/bin #进入到oracl...

2019-04-10 09:35:04 390

转载 MongoDB内存限制

用过MongoDB的人应该会发现一个问题，就是随着时间的推移，MongoDB占用的物理内存会越来越大，甚至到达不可想象的地步。或者在短时间内，用压力测试MongoDB的性能，内存也会飚的很高，而且会一直保持在最高的状态。下面的测试是在我的虚拟机上进行的，配置是1核4G，压力测试工具是YCSB，测试命令是./bin/ycsb load mongodb -s -P workload...

2019-04-09 17:11:27 2252

原创 Oracle11.2.0.3.0服务端、客户端安装以及调优

一、Oracle服务端安装和配置监听服务oracle服务端安装1、双击setup，显示如下界面，稍等片刻会自动跳转至安装界面2、取消勾选，单击下一步，弹出警告，选择“是”3、选择“跳过软件更新”4、选择“创建和配置数据库”5、选择“服务器类”6、选择“单实例数据库安装”7、选择“高级安装”8、选择“简体中文”9、选择“企业版”10、安装目录改为D盘，后面的...

2019-04-09 12:22:22 2469

原创 IIS与.net framework 3.5(及以上版本)安装

简介：IIS(互联网信息服务)，用于发布服务。.net framework，软件运行环境框架。1、IIS安装右击计算机-管理，打开服务器管理器，选择“服务器管理器”下的“角色”；点击“添加角色”，弹出向导，点击“下一步”2、在角色服务中选择“Web服务器（IIS）”，点击“下一步”3、到Web服务器（IIS）界面后，点击“下一步”4、在选择角色服务界面中，角色服务列表中全部勾选...

2019-04-09 11:00:07 3779

原创如何设置Windows 2008允许多用户登陆远程

Windows server 2008开启远程，默认一个账号只允许一个连接。当你远程的时候，如果其他远程终端也用这个账号连接的话会将正在连接的会话中断。也就是说一个账号只能有一个连接，怎么设置开启用户多会话，以下截图为例：1、以2008R2中文企业版为例，找到开始菜单—管理工具—远程桌面服务—远程桌面会话主机配置如果开始菜单没有这个选项，也可以到控制面板—管理工具—远程桌面服务文件夹里面找...

2019-04-09 10:18:07 1347

原创 Hadoop离线项目之数据清洗

#前言企业级项目开发流程项目调研：技术？业务？产品经理、非常熟悉业务、项目经理需求分析：做什么做成什么样用户提出来的：显式隐式方案设计概设详设系统设计功能开发开发测试：单元测试 CICD测试功能联调性能用户试用部署上线试运行 DIFF 稳定性正式上线灰度后期二期、三期、四期等运维保障功能开发 bug修复（涉及到功能开发...

2019-04-06 21:20:42 1435

原创如何使用IntelliJ IDEA 配置Maven

一、需要准备的东西1、 JDK2、Eclipse3、Maven程序包二、下载与安装1、可前往https://maven.apache.org/download.cgi下载最新版的Maven程序，我这有安装包就不做下载的演示2、将文件解压到D:\FWZ\software\apache-maven-3.3.9目录下:3、新建环境变量MAVEN_HOME，赋值D:\FWZ\softwa...

2019-04-05 11:47:01 4059

原创 Java JDK下载、安装和验证

1、JDK下载地址：2、点击上图中箭头所指的地方，此时你需要根据你的电脑系统来进行对应的版本进行选择，在选择版本和下载之前你需要首先接收协议，勾选“Accept License Agreement”。3、双击以后进行JDK的安装，安装界面如下图所示：4、JDK安装完成后，需要进行环境变量的配置，右键“我的电脑”—>“属性”—>“高级系统设置”就会看到下面的界面：...

2019-04-05 11:04:57 230

原创 MongoDB基本操作说明

MongodDB中有数据库（database）、集合（collection）、文档（document），其中数据库和集合不需要手动创建。当我们创建文档时，文档所在的集合或数据库不存在，会自动创建数据库和集合数据库的CRUD（增删改查）的操作插入向数据库中插入文档——db.insert({doc})db.stus.insert({name:”jack”,age:18,gender:”male...

2019-04-04 17:07:23 302

原创安装及启动MongoDB

一、安装1、从官网下载.mis安装包https://www.mongodb.com/download-center/community2、开始安装默认下一步选择安装路径，安装路径修改：D:\Program Files\MongoDB\Server\3.6二、启动1、配置环境变量D:\Program Files\MongoDB\Server\3.6\bin加到path中...

2019-04-04 14:19:57 230

原创 Hadoop离线项目

离线项目下的Hadoop生态栈Hadoop生态离线项目Hadoop：（无论什么大数据项目Hadoop是少不了的）HDFS MapReduce(主要是做清洗) YARN （大数据项目基本都是跑在yarn资源框架上）Hadoop集群Hive：（主要是做计算）外部表（会使用）SQL （会使用）数据倾斜（会遇到的问题）优化基于元数据管理（需要拿到元数据管理）SQL ==&...

2019-04-03 16:56:23 535

原创 Hadoop高级之HDFS&YARN HA架构剖析

1.为什么要用集群学习过程中单点够了企业里面，伪分布式每一个角色都是1个进程HDFS:NN 老大 master #假如master挂了，所有与nn交互的任务都会中断SNN 1h checkpoint secondary #checkpoint一小时备份一次，会有丢失一小时数据的风险DN伪分布式中hadoop的访问地址是 hdfs://ip:9000/NN节点挂...

2019-04-02 21:30:28 151

゛Never give up~