当前搜索:

[置顶] Hadoop伪分布安装详解+MapReduce运行原理+基于MapReduce的KNN算法实现

本篇博客将围绕Hadoop伪分布安装+MapReduce运行原理+基于MapReduce的KNN算法实现这三个方面进行叙述。 (一)Hadoop伪分布安装1、简述Hadoop的安装模式中–伪分布模式与集群模式的区别与联系. Hadoop的安装方式有三种:本地模式,伪分布模式,集群(分布)模式,其中后两种模式为重点,有意义 伪分布:如果Hadoop对应的Java进程都运行在一个物理机器上,称为伪...
阅读(7482) 评论(21)

[置顶] HDFS入门笔记------架构以及应用介绍

引言—HDFS的重要性: Hadoop的定义:适合大数据的分布式存储与计算的一个平台,其中大数据的分布式存储就是由HDFS来完成的,因此掌握好HDFS的相关概念与应用非常重要! 本篇博客将从以下几个方面讲述HDFS: 1、分布式文件系统与HDFS 2、HDFS的体系结构 3、HDFS—-NameNode相关概念 4、HDFS—-DataNode相关概念 5、HDFS—-block块相关...
阅读(1401) 评论(0)

[置顶] Flume架构以及应用介绍

在具体介绍本文内容之前,先给大家看一下Hadoop业务的整体开发流程: 从Hadoop的业务开发流程图中可以看出,在大数据的业务处理过程中,对于数据的采集是十分重要的一步,也是不可避免的一步,从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 (一)Flume架构介绍 1、Flume的概念 flume是分布式的日志...
阅读(60472) 评论(17)

[置顶] Sqoop架构以及应用介绍

本篇文章在具体介绍Sqoop之前,先给大家用一个流程图介绍Hadoop业务的开发流程以及Sqoop在业务当中的实际地位。 如上图所示:在实际的业务当中,我们首先对原始数据集通过MapReduce进行数据清洗,然后将清洗后的数据存入到Hbase数据库中,而后通过数据仓库Hive对Hbase中的数据进行统计与分析,分析之后将分析结果存入到Hive表中,然后通过Sqoop这个工具将我们的数据挖...
阅读(13316) 评论(0)

[置顶] Hive架构以及应用介绍

Hive这个框架在Hadoop的生态体系结构中占有及其重要的地位,在实际的业务当中用的也非常多,可以说Hadoop之所以这么流行在很大程度上是因为Hive的存在。那么Hive究竟是什么,为什么在Hadoop家族中占有这么重要的地位,本篇文章将围绕Hive的体系结构(架构)、Hive的操作、Hive与Hbase的区别等对Hive进行全方面的阐述。 在此之前,先给大家介绍一个业务场景,让大家感受...
阅读(11665) 评论(1)

[置顶] Hbase架构以及应用介绍

Hbase全称为Hadoop Database,即Hbase是Hadoop的数据库,是一个分布式的存储系统。Hbase利用Hadoop的HDFS作为其文件存储系统,利用Hadoop的MapReduce来处理Hbase中的海量数据。利用zookeeper作为其协调工具。 本篇文章将重点介绍Hbase三个方面的内容:Hbase体系结构(架构)的介绍、Hbase shell的操作、Hbase的Ja...
阅读(8638) 评论(2)

python的迭代器与生成器实例详解(装载)

装载网址:http://www.jb51.net/article/52234.htm...
阅读(29) 评论(0)

Python结合图灵机器人

转载网址:http://m.baidu.com/from=1000953c/bd_page_type=1/ssid=0/uid=0/pu=usm%401%2Csz%40224_220%2Cta%40iphone____/baiduid=7E3CB3B4C806FDBEC43DCABAFA708E6D/w=0_10_/t=iphone/l=3/tc?ref=www_iphone&lid=1712770...
阅读(106) 评论(0)

Django通过HttpResponse如何返回用户头像

代码示例:def test(request): # 获取当前文件的路径、父路径以及下一层的路径 curr_dir = os.path.dirname(__file__) parent_path = os.path.dirname(curr_dir) image_path = os.path.join(parent_path,"static/image/timg.jpg...
阅读(301) 评论(0)

python 将数据写入excel

参考博客: https://www.cnblogs.com/liuyang92/p/7492336.html https://www.cnblogs.com/lhj588/archive/2012/01/06/2314181.html https://www.cnblogs.com/liuyang92/p/7492336.html https://www.cnblogs.com/jiangz...
阅读(287) 评论(0)

Django 时间与时区设置问题

转载网址:http://www.cnblogs.com/brad1994/p/6761110.html...
阅读(247) 评论(0)

Python中的urlencode

转载网址:http://www.cnblogs.com/caicaihong/p/5687522.html...
阅读(296) 评论(0)

[解决办法]Python中使用json.loads解码字符串时出错:ValueError: Expecting property name: line 1 column 2 (char 1)

转载网址:http://blog.csdn.net/sinsa110/article/details/51189456...
阅读(255) 评论(0)

Python获取并输出当前日期时间

转载网址:http://www.cnblogs.com/kerwinC/p/5760811.html...
阅读(343) 评论(0)

HTTP请求中的form data和request payload的区别等(转载)

阅读博文之后的小总结: 在Chrome中调试发现,.ajax发送的请求显示在requestpayload下面,而使用.ajax发送的请求显示在request payload下面,而使用.post方法发送的请求显示在form data下面。也就是说payload中的数据是前台通过ajax的方式向后台发送的,而form data的方式是前台通过form表单的方式向后台发送的。 博客的具体网址:htt...
阅读(318) 评论(0)

Python中的多线程

转载网址:http://www.cnblogs.com/fnng/p/3670789.html...
阅读(318) 评论(0)

通过JS实现轮播图

博客参考: 1、http://blog.csdn.net/a2011480169/article/details/76218022 (绝对定位和相对定位) 2、轮播图 http://www.jb51.net/article/94598.htm 3、定时器和计时器 http://blog.csdn.net/a2011480169/article/details/76706014 效果展示...
阅读(341) 评论(1)

Python中常用的模块--Log日志模块

实例代码:#!/usr/bin/python # -*- coding:utf-8 -*-import os import datetime import sys import logging from logging import StreamHandlerclass myLog(): def __init__(self,basedir=None,name=None): #...
阅读(448) 评论(0)

Django系列7---cookie、session、json、csrf_token

博客核心内容:...
阅读(315) 评论(0)

Jquery学习前传

博客核心内容:加载顺序 如何选择标签并进行执行 通过Jquery如何获取某个标签中某个属性对应的数值方法1 通过Jquery如何获取某个标签中某个属性对应的数值方法2 通过Jquery如何获取某个标签中某个属性对应的数值方法3 常见的创建标签 通过浏览器查找标签的技巧注意浏览器中就不要加var了 JS和Jquery当中一种值得学习的函数加载方式 Form表单中通过a标签向后台发送数据加载顺序:如何选...
阅读(686) 评论(0)

信息列表+上传文件

根据标题类型进行筛选 基于数据库事务性特点实现点赞的功能 后台点赞逻辑前端刷新版前端页面没有随着静态加1 后台点赞前端页面不自动刷新不抛出异常版本 后台点赞前端页面自动刷新版本无动画效果 点赞前端页面自动刷新版本含有动画效果推荐 上传文件 方式1Form表单的方式上传页面刷新不能预览 方式2Ajax上传文件依赖于FormData对于兼容性不好 方式3FormIfrme 伪造发送Ajax伪Ajax兼容...
阅读(766) 评论(3)
415条 共28页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:575042次
    • 积分:8642
    • 等级:
    • 排名:第2531名
    • 原创:328篇
    • 转载:87篇
    • 译文:0篇
    • 评论:102条
    最新评论