- 博客(17)
- 收藏
- 关注
RSS订阅转载 MR运行机制详解
一、在我们提交完MR程序之后，MR程序会先后经历map，reduce阶段，下面我们详细的来解析一下各个阶段 1、map阶段，在这个阶段主要分如下的几个步骤read，map,collect，溢写，combine阶段  ...
2018-11-01 10:25:34
1903
转载 rpc框架解释
rpc框架解释谁能用通俗的语言解释一下什么是 RPC 框架？ - 远程过程调用协议RPC（Remote Procedure Call Protocol)首先了解什么叫RPC，为什么要RPC，RPC是指远程过程调用，也就是说两台服务器A，B，一个应用部署在A服务器上，想要调用B服务器上应用提供的函数/方法，...
2018-10-31 12:56:09
168
原创 hive中beeline连接异常User:*** is not allowed to impersonate
异常处理Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop01:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop....
2018-10-23 23:44:01
4603
3
原创 java实现爬虫（爬取51job网的招聘信息）
如图，爬去以下的相关信息。F12分析网站源码大体的内容都在id=resultList的标签下面。每条职位信息都对应一个class=el的标签。下一页的信息是一个class为bk下的a对应的href实现代码：新建maven项目，导入依赖<dependencies> <!-- https://mvnrepository.com/artifact/com.alib...
2018-10-18 23:44:35
3265
3
原创 mapreduce的原理和简单程序实现
五个关于mapreduce的简单程序实现mapreduce的简介什么是mapreduce？是一种分布式运算程序一个mapreduce程序会分成两个阶段，map阶段和reduce阶段map阶段会有一个实体程序，不用用户自己开发reduce阶段也会有一个实体程序，不用用户自己开发用户只需要开发map程序和reduce程序所要调用的数据处理逻辑方法Map阶段的逻辑方法：xxxMapper...
2018-10-18 23:21:43
920
原创 hadoop中HA的配置
<configuration><!—指定hdfs的nameservice为ns1--><property><name>fs.defaultFS</name><value>hdfs://ns1</value></ property ><!—指定hadoop的临时目录--><property><name>hadoop.tmp.dir </name>&l
2018-10-18 23:08:34
267
转载 MapReduce详解
1.1 MapReduce是什么 Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有...
2018-09-06 00:22:38
195
原创 druid和dbuilts的结合使用
1、新建工程，新建lib文件夹，上传jar包到lib下，添加build path。 2、在src下，新建driuid.properties，文件。并添加相应的配置。 3、新建一个类，与数据库中的属性相对应。 我的数据库属性如下： 类如下：package druidAndDbutils;public class Student { private int id...
2018-08-31 22:34:30
410
1
原创 HDFS的安装、初始化
HDFS集群中机器的角色：两类核心角色： 主节点（1台）：NAME NODE 从节点（N台）：DATA NODEHDFS安装：一、准备N台机器：比如4台 1台namenode 3台datanode准备内容：（主机名，ip，域名映射，防火墙，jdk）主机名：vi /etc/sysconfig/network ip地址：vi /etc/sysconfig/netwo...
2018-08-30 22:54:14
4551
原创 大数据以及hadoop的入门介绍
为什么大数据这几年才发展起来？随着互联网技术的深入发展，产生了越来越多的数据。比如： 1、电商网站，产生了大量的用户浏览，购物行为 2、移动运营商记录了大量的用户上网行为 3、金融系统的分析 。。。。 以上的这些需求，用以前传统的技术无法胜任，需要有一个全新的技术体系来支撑。在此背景下就产生了一系列针对海量数据进行处理的技术。大数据的基本概念“大数据”的概念核心，就是指一系列...
2018-08-30 22:25:38
150
原创 linux自动化交互工具expect简单配置使用
1、挂载：mount -t iso9660 -o loop /dev/cdrom /mnt/cd 2、查找expect安装包：yum list | grep expect 3、安装：yum install expect.i686 -y 4、新建并编辑expect配置文件vi expectdemo.sh 配置内容如下：（我这里连接的hadoop02这台虚拟机）#!/bin/bash/ex...
2018-08-29 21:12:20
344
原创 dbutils和c3p0的结合使用
前言：c3p0是存放了一堆Connection对象的连接池。避免了java每次加载驱动和连接数据库 dbutils简化了Java执行sql的语句，并将结果封装成对象列表。过程：1、新建工程，导入jar包，添加build path。 2、在src下新建c3p0.properties。配置文件的内容如下。 注意：配置文件必须要为：”c3p0.” 3、我的数据库为： 4...
2018-08-29 14:07:06
1406
3
原创 Java三种连接池（druid、c3p0、dbcp）
DRUID概述：druid：阿里出品，淘宝和支付宝专用数据库连接池，支持所有JDBC兼容的数据库，包括Oracle、MySql、Derby、Postgresql、SQL Server、H2等等，Druid针对Oracle和MySql做了特别优化。下载网址：http://repo1.maven.org/maven2/com/alibaba/druid/1、创建durid工程 2、在工程...
2018-08-29 13:27:46
6684
1
原创 动态代理笔记
动态代理创建两个接口package cn.Proxy;public interface TableInter { void insert(); void delete(); void update(); void select();}package cn.Proxy;public interface TestInter { vo...
2018-08-29 12:35:07
104
原创 纯javaSE案例（一）之用户登录注册
纯javaSE案例之用户登录注册案例需求：直接上图： 涉及知识面向对象，接口，Java序列化，HashMap，IO流，最重要的是锻炼自顶向下逐步细化的思想。欢迎界面package cn.jixiang.front.menu;public class BootStrap { public static void main(String[] args) ...
2018-08-23 22:39:33
3032
3
原创 反射的基本方法
反射机制：概念：是在运行状态时，对于任意一个类都能够知道这个类的所有属性和方法。即通过由javac生成的class文件，从而获取到该类的成员。 类的加载：指的是将类的.class文件中的二进制数据读到内存中，将其放在运行的数据区的方法区中，然后在堆中创建一个java.lang.Class对象，用来封装类在方法区内的数据结构。获取class文件对象的三种方法：（假设我们有一个对...
2018-08-22 21:00:56
278
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人