Hadoop伪分布安装详解+MapReduce运行原理+基于MapReduce的KNN算法实现

本篇博客将围绕Hadoop伪分布安装+MapReduce运行原理+基于MapReduce的KNN算法实现这三个方面进行叙述。 (一)Hadoop伪分布安装1、简述Hadoop的安装模式中–伪分布模式与集群模式的区别与联系. Hadoop的安装方式有三种:本地模式,伪分布模式,集群(分布)模式,...

2016-06-15 16:25:46

阅读数:9486

评论数:21

Flume架构以及应用介绍

在具体介绍本文内容之前,先给大家看一下Hadoop业务的整体开发流程: 从Hadoop的业务开发流程图中可以看出,在大数据的业务处理过程中,对于数据的采集是十分重要的一步,也是不可避免的一步,从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采...

2016-05-31 12:35:17

阅读数:87542

评论数:32

RabbitMQ队列入门实战(4)---- RabbitMQ集群搭建

集群搭建示意图:(4台服务器的节点)     RabbitMQ Cluster: RabbitMQ是一个消息代理,是一个或多个Erlang节点的逻辑分组,每个节点运行RabbitMQ应用程序并共享 用户、虚拟主机、队列、交换、绑定和运行时参数,我们将节点集合称为集群。 (1)主机...

2018-12-12 22:04:36

阅读数:272

评论数:3

大数据面试题目

一、数据结构与算法     1.二叉树前序、中序、后续遍历方式(递归以及非递归)     2.二叉树的深度以及广度遍历方式     3.二叉树遍历情况中所有连续节点的最大的值     4.求数组所有可能的子数组     5.给定一个数,求一个有序数组的两个数的和满足这个数(可以拓展一下变成两个无序...

2018-12-08 10:22:06

阅读数:117

评论数:2

深入理解python当中的函数

作为一个Python的初学者来说,深入理解Python中函数的概念是一件重要的事情。 重点1:如何理解函数是第一类对象(一等公民) 函数是第一类对象的概念: 第一:函数的名字是对函数的引用 第二:函数作为第一类对象可以赋值给其他的变量 第三:可以作为函数的参数传递给其他的函数 第四...

2018-11-30 15:05:50

阅读数:66

评论数:0

深入理解与应用Hadoop中的MapReduce

现在大数据是越来越火了,而我自己研究这方面也很长时间了,今天就根据我自己的经验教会大家玩转MapReduce,下文中将MapReduce简写为MR。 本篇博客将结合实际案例来具体说明MR的每一个知识点。1、本篇博客核心内容:2、MR的基本概念3、MR中map()函数和reduce()函数...

2018-11-28 19:23:26

阅读数:4610

评论数:2

你真的会用PYTHON的装饰器了吗?(老铁)

本文结构: 无参装饰器的一般形式                a、 解决原生函数有参问题                b、解决原生函数有返回值问题 无参装饰器的模型总结 无参装饰器的具体应用实例 有参装饰器 有参装饰器的具体应用实例  对于大部分学Python的人来说,装饰器可能是遇...

2018-10-31 08:26:07

阅读数:125

评论数:2

深入掌握大数据Kafka的使用(基于Python开发)-张明阳-专题视频课程

深入掌握大数据Kafka实战视频教程,本课程为实战教学,主要介绍了Kafka的生产者、消费者,其中重点内容--消费者偏移量的处理以及再均衡问题进行了更加深入的介绍....

2018-10-29 09:34:53

阅读数:561

评论数:0

Kafka常用命令汇总

Kafka常用命令汇总: 1、列出集群里的所有主题。 kafka-topics.sh --zookeeper localhost:2181 --list [bdp_client@BJLFRZ-Client-50-162 ~]$ kafka-topics.sh --zookeeper loca...

2018-09-28 18:09:06

阅读数:73

评论数:0

Kafka消费数据的几种方式

Consumer手动指定偏移量消费: ================================================= 1、指定多主题消费     consumer.subscribe(Arrays.asList("t4",&quot...

2018-09-20 23:23:30

阅读数:586

评论数:0

PYTHON面向对象章节深入讲解-张明阳-专题视频课程

介绍了类和面向对象、 反射、静态方法和类方法、 三大特性(封装继承多态)、魔法元类、单例模式

2018-08-24 09:13:35

阅读数:44

评论数:0

Python中的元类编写ORM框架

博客转载:https://blog.csdn.net/givemefive_y/article/details/79806348

2018-08-10 20:10:03

阅读数:65

评论数:0

如果你是第一次接触Python当中的面向对象,请点击进来。

2018年7月29日15:49:49 今天有时间写一篇关于Python面向对象入门的文章,其实面向对象是不属于某一门编程语言的,而是一种编程思想,如果你是第一次接触面向对象,你需要弄懂下面几个问题: 什么是面向对象,为什么要使用面向对象? 什么是类,为什么要使用类? 类和类对象之间是什么关...

2018-07-29 15:48:45

阅读数:134

评论数:0

深入理解RabbitMQ消息队列的使用-张明阳-专题视频课程

RabbitMQ使用的详细介绍

2018-06-21 09:26:56

阅读数:48

评论数:0

Python当中普通用户权限安装第三方模块

下面教程是关于使用普通用户权限安装第三方模块,避免程序源代码需要内置第三方模块。声明:下面的方法不会对系统的原有环境造成任何影响第一种场景:系统如果安装有python3.5,可以按照下面方法创建虚拟环境[dd_edw@BJHC-Client-18511 ~]$ python3.5 -m venv ...

2018-06-16 10:45:19

阅读数:431

评论数:0

Rabbitmq中的RPC通信机制

具体工作机制:Our RPC will work like this:When the Client starts up, it creates an anonymous exclusive callback queue.For an RPC request, the Client sends a...

2018-06-04 15:19:32

阅读数:206

评论数:0

Git的基本使用-张明阳-专题视频课程

Git的基本使用(开发者)

2018-05-28 08:55:42

阅读数:26

评论数:0

Python使用PyMysql模块报错:lock wait timeout exceeded; try restarting transactio

呵呵,我只想说:关于这个问题我整了两个星期,关于这个问题的原因,从网上看到的很多文章全都是说要conn.commit(),但是我在程序里面已经commit()了,最后定位到的问题是Pymysql在多线程(或多进程下)面会有bug,对,你没听错,Pymysql模块自身的bug造成的:解决方案:利用D...

2018-04-28 15:28:32

阅读数:393

评论数:0

Python第三章模块-张明阳-专题视频课程

介绍Python在项目当中常用的模块:logging日志模块、子进程subprocess模块、时间模块 、re模块、os与sys模块、json和pickle模块、configparser模块、hashlib模块

2018-04-20 17:51:28

阅读数:31

评论数:0

Python中模块的搜索路径实例讲解

2018年3月1日13:26:09最近在工作的时候遇到一个问题,我首先是拿到别人现成的代码,代码如下:import os,sys,re import datetime import threading import subprocess import configparser import sen...

2018-03-01 13:33:36

阅读数:289

评论数:0

提示
确定要删除当前文章?
取消 删除