排序:
默认
按更新时间
按访问量

Hadoop伪分布安装详解+MapReduce运行原理+基于MapReduce的KNN算法实现

本篇博客将围绕Hadoop伪分布安装+MapReduce运行原理+基于MapReduce的KNN算法实现这三个方面进行叙述。 (一)Hadoop伪分布安装1、简述Hadoop的安装模式中–伪分布模式与集群模式的区别与联系. Hadoop的安装方式有三种:本地模式,伪分布模式,集群(分布)模式,...

2016-06-15 16:25:46

阅读数:8886

评论数:21

Flume架构以及应用介绍

在具体介绍本文内容之前,先给大家看一下Hadoop业务的整体开发流程: 从Hadoop的业务开发流程图中可以看出,在大数据的业务处理过程中,对于数据的采集是十分重要的一步,也是不可避免的一步,从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采...

2016-05-31 12:35:17

阅读数:82155

评论数:25

Python当中普通用户权限安装第三方模块

下面教程是关于使用普通用户权限安装第三方模块,避免程序源代码需要内置第三方模块。声明:下面的方法不会对系统的原有环境造成任何影响第一种场景:系统如果安装有python3.5,可以按照下面方法创建虚拟环境[dd_edw@BJHC-Client-18511 ~]$ python3.5 -m venv ...

2018-06-16 10:45:19

阅读数:55

评论数:0

Rabbitmq中的RPC通信机制

具体工作机制:Our RPC will work like this:When the Client starts up, it creates an anonymous exclusive callback queue.For an RPC request, the Client sends a...

2018-06-04 15:19:32

阅读数:62

评论数:0

Python使用PyMysql模块报错:lock wait timeout exceeded; try restarting transactio

呵呵,我只想说:关于这个问题我整了两个星期,关于这个问题的原因,从网上看到的很多文章全都是说要conn.commit(),但是我在程序里面已经commit()了,最后定位到的问题是Pymysql在多线程(或多进程下)面会有bug,对,你没听错,Pymysql模块自身的bug造成的:解决方案:利用D...

2018-04-28 15:28:32

阅读数:64

评论数:0

Python中模块的搜索路径实例讲解

2018年3月1日13:26:09最近在工作的时候遇到一个问题,我首先是拿到别人现成的代码,代码如下:import os,sys,re import datetime import threading import subprocess import configparser import sen...

2018-03-01 13:33:36

阅读数:141

评论数:0

Hive内部表、外部表、分区表以及外部分区表创建以及导入数据实例讲解

源数据格式: [dd_edw@BJHC-Client-144113 zhang_dd_edw]$ more data.txt 25502#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-15 2549...

2018-01-08 11:11:40

阅读数:292

评论数:0

Python中的多进程小示例

#!/usr/bin/python # -*- coding:utf-8 -*-import requests import json import timefrom multiprocessing import Pooldef func(name): print('********%s'...

2017-12-31 16:43:18

阅读数:187

评论数:0

K-means算法

算法核心步骤: K-means聚类的方法也叫K均值聚类,聚类的方法有许多中,其中K-mens可能是最常用到的方法。1 算法的优缺点: 优点 缺点 使用简单 因为它使用了一个随机的元素,所以它不能保证找到最佳的类 无 需要一个合理初始化要聚类的个数:即要初始化K2...

2017-12-28 23:00:31

阅读数:175

评论数:0

python的迭代器与生成器实例详解(装载)

装载网址:http://www.jb51.net/article/52234.htm

2017-12-05 13:30:33

阅读数:251

评论数:3

Python结合图灵机器人

转载网址:http://m.baidu.com/from=1000953c/bd_page_type=1/ssid=0/uid=0/pu=usm%401%2Csz%40224_220%2Cta%40iphone____/baiduid=7E3CB3B4C806FDBEC43DCABAFA708E6...

2017-11-14 00:35:46

阅读数:626

评论数:0

Django通过HttpResponse如何返回用户头像

代码示例:def test(request): # 获取当前文件的路径、父路径以及下一层的路径 curr_dir = os.path.dirname(__file__) parent_path = os.path.dirname(curr_dir) image_pa...

2017-11-09 15:02:05

阅读数:722

评论数:0

python 将数据写入excel

参考博客: https://www.cnblogs.com/liuyang92/p/7492336.html https://www.cnblogs.com/lhj588/archive/2012/01/06/2314181.html https://www.cnblogs.com/liuy...

2017-11-08 20:53:50

阅读数:3257

评论数:0

Django 时间与时区设置问题

转载网址:http://www.cnblogs.com/brad1994/p/6761110.html

2017-11-02 23:59:00

阅读数:435

评论数:0

Python中的urlencode

转载网址:http://www.cnblogs.com/caicaihong/p/5687522.html

2017-11-01 20:04:36

阅读数:685

评论数:0

[解决办法]Python中使用json.loads解码字符串时出错:ValueError: Expecting property name: line 1 column 2 (char 1)

转载网址:http://blog.csdn.net/sinsa110/article/details/51189456

2017-11-01 19:48:03

阅读数:449

评论数:0

Python获取并输出当前日期时间

转载网址:http://www.cnblogs.com/kerwinC/p/5760811.html

2017-10-27 17:52:22

阅读数:650

评论数:0

HTTP请求中的form data和request payload的区别等(转载)

阅读博文之后的小总结: 在Chrome中调试发现,.ajax发送的请求显示在requestpayload下面,而使用.ajax发送的请求显示在request payload下面,而使用.post方法发送的请求显示在form data下面。也就是说payload中的数据是前台通过ajax的方式向后...

2017-10-26 23:44:49

阅读数:1004

评论数:0

Python中的多线程

转载网址:http://www.cnblogs.com/fnng/p/3670789.html

2017-10-12 18:46:24

阅读数:464

评论数:0

通过JS实现轮播图

博客参考: 1、http://blog.csdn.net/a2011480169/article/details/76218022 (绝对定位和相对定位) 2、轮播图 http://www.jb51.net/article/94598.htm 3、定时器和计时器 http://blog...

2017-10-11 00:31:59

阅读数:545

评论数:1

提示
确定要删除当前文章?
取消 删除
关闭
关闭