自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 docker操作web化(三)

 前一章节中,讲解了项目的建立。从后面的章节就主要讲系统的开发。 本章节讲解docker版本信息开发 1.前端界面(jquery+bootstrap) 页面代码: <div style="width: 65%;margin: 0 auto; "&...

2018-07-17 15:11:31 179 0

原创 docker操作web化(二)

上一章节介绍了本项目的开发环境。这一章节介绍项目的建立1.安装docker在centos6中安装docker的指令是:yum install docker2.IDEA中建立项目(dockerweb是项目名)在dockerweb目录中创建dockercontroller.py , dockerweb...

2018-07-16 12:20:13 104 0

原创 docker操作web化(一)

近段时间在学习docker和django,感觉光看资料没什么进步和实际应用经验,于是做了一个采用django开发了一个web版操作docker的项目。 项目源码地址:https://github.com/ldysix/dockerweb.git 这一章主要介绍一下项目开发环境   Dock...

2018-07-16 11:37:06 247 0

原创 MapReduce重写FileInputFormat和FileOutputFormat

在mapreduce中默认的mapper输入时LongWritable和Text,reducer输出是part-r-00000文件。但是我们可以通过重写FileInputFormat和FileOutputFormat类来实现自定义的mapper输入和reducer输出。 1.自定义mapper输...

2017-09-22 10:57:58 1710 0

原创 hive简介——java连接和数据管理的方式

在hadoop中hive担任的是数据仓库的角色,主要用来存储数据,而且存储的数据是不再修改的数据。hive集成了SQL技术,提供了类SQL的查询语句,称为HQL(和类SQL语句操作一样,在此就不再详细介绍)。在类SQL的增删改查操作中,HQL提供了INSERT(增)和SELECT(查)操作。 h...

2017-09-19 20:33:17 642 0

原创 MapReduce程序编程模型

在hadoop平台中,有一个很重要的组件——MapReduce(hadoop自带的,不用单独安装),它是一个分布式计算框架,该框架提供两个很重要的部件——Mapper和Reducer。 MR的基本执行流程: 从图中,我们可以看出,MR程序从hdfs中读入数据进行分片,形成一个

2017-09-18 09:55:21 359 0

原创 hdfs——hadoop文件读写操作

在hadoop中,有三大法宝——HDFS,MapReduce,Hbase,但是无论是MapReduce,Hbase还是hadoop中的其他组件如:Hive等他们要处理的数据还是处理完了的数据都是存储在HDFS中。可见HDFS可以说是hadoop存储的基础和核心,因此对HDFS的文件读写操作显得十分...

2017-09-18 09:24:44 2046 0

原创 mapreduce链接job流

在我们的日常的数据处理中,往往不是一个MapReduce就可以把需求解决,而是要用多个MR作业来完成对一个问题的求解。但是多个MR作业是如何链接的呢? 在MR框架中提供了三种方法,分别是线性MR job流,复杂MR job流,job设置预处理和后处理。 1.线性MR job流:一个MR作业是将...

2017-09-17 23:28:02 202 0

原创 mapreduce计算平均值

当我们有每一位同学的每一科成绩时,我们计算他们的平均成绩,用传统的方法比较麻烦,如果我们用hadoop中MapReduce组件的话就比较简单了。 测试数据如下: 代码如下:import java.io.IOException; import java.util.Iterator; impo...

2017-09-17 21:10:49 1591 0

原创 mapreduce topN算法实现 获取前10个音乐数据

上次通过爬虫获取了音乐的数据,并把数据导入到hdfs中,根据他的点击量获取前10个音乐,测试了半天现在终于弄好了,分享一下,如有更好的思路请指教。 部分原始数据(主要用于测试)如下: 代码如下:import java.io.IOException; import java.net.URI;...

2017-09-12 22:18:42 2604 0

原创 javascript解析json数组

最近写一个程序时,遇到js解析json数组的问题,现在记录如下,供我自己和拥有同样爱好的读者看看。javaweb后台传到前台的json数据如下: {“data”:[{“a_number”:0,”s_id”:1,”m_singer”:” 大塚愛 \t”,”m_number”:1},{“a_numb...

2017-09-04 17:07:54 296 0

原创 python爬取百度音乐(二)——保存数据到mysql中

上篇博客只是爬取了网页上的数据并打印出来,但是在实际开发应用中,数据是要持久保存起来的,数据可以保存到关系型数据库如:mysql中或NoSQL数据库中如:mongodb 这篇博客是把数据保存到mysql数据库中采用的模块是pymysql,[使用方法]http://www.runoob.com/p...

2017-08-20 09:46:31 1192 1

原创 Python-爬取百度音乐

最近闲来无事,无意间就看到了百度音乐,于是就写了一个小爬虫来爬取其音乐。使用的模块:urllib2,beautifulsoup urllib2的使用链接:https://docs.python.org/2/library/urllib2.html# beautifusoup的使用链接https...

2017-08-17 15:13:16 447 0

原创 Linux中虚拟内存设置

因为我的云服务器的内存时1G,没有足够的物理内存,如果在执行一些消耗内存的任务,比如编译软件, 可能会造成系统崩溃,解决方法就是设置虚拟内存。 以下操作都是在root用户下进行的。 1.进入根目录 cd / 2.创建一个目录swap mkdir swap 3.设置虚拟内存大小 dd...

2017-07-05 21:06:34 753 0

原创 数据仓库hive安装配置——腾讯云

今天来说说如何在腾讯云上安装部署hive 安装坏境: 腾讯云:1G内存,1M带宽,20G硬盘 操作系统:Ubuntu-16 已经安装好hadoop(版本是2.6.5),jdk的安装路径是:/usr/local/jdk1.8.0_101 hive下载地址:http://mirror.bit.e...

2017-04-30 12:30:32 466 0

原创 hbase伪分布式安装——腾讯云

上一篇写了如何在腾讯云上安装部署 伪分布式 hadoop,今天给大家说说如何在腾讯云上安装部署伪分布式 hbase。 环境: 腾讯云——1G内存,20G硬盘,1M带宽

2017-04-17 09:45:33 719 0

原创 hadoop伪分布式安装-腾讯云

最近学习hadoop,为了方便,于是我在腾讯云上安装部署了 hadoop伪分布式 环境: 腾讯云——1G内存,20G硬盘,1M带宽; 系统是Ubuntu16 java是jdk-8u101-linux-x64.tar(下载地址:http://download.csdn.net/detail/qinx...

2017-04-16 18:16:34 1707 0

原创 docker中安装nginx服务

Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器。 今天就来看看如何在docker中安装nginx服务 安装环境:virtualBox ,64位的Ubuntu-server-16.04版本,采用ubuntu中自带的相应的docker。 所有操作...

2017-04-16 16:48:56 7999 1

原创 java多线程(一)

今天我们来谈谈java中多线程,线程:系统中最小的执行单元。 java对线程的支持分别是Thread类和Runnable接口,并且它们都继承java.lang包 Runnable接口可以避免Thread类的方法的缺陷,Runnable的代码可以被多个线程共享, 可以处理共享同一资源。 ...

2017-04-02 16:17:07 256 0

原创 docker容器,Dockerfile创建 ssh 镜像

docker 创建镜像有两种方式:一种是docker commit 指令,一种是通过docker build 和 Dockerfile 今天在这里给大家介绍如何通过 docker build 和 Dockerfile来创建 ssh 镜像 以下操作环境是:Ubuntu-16.04-server版...

2017-03-20 17:59:51 230 0

翻译 java网络通信——socket

最近闲来没事,在慕课网上看了socket网络编程,在此做些笔记,希望对感兴趣的同志有所帮助。 在java中对于网络的支持,它是根据不同的网络层次,java有不同的类的支持。 1.InetAddress:用于标识网络上硬件资源的(网络的ip) 2.URL:通过URL可以直接读取网络上的资源和直接...

2017-03-18 11:52:27 318 0

原创 docker容器,docker commit创建ssh容器

在写这个之前给大家推荐一个很好用的docker image 下载地方——daocloud(http://get.daocloud.io/) 对于docker容器的操作,我们可以通过 docker exec -it   /bin/bash 或者 docker attach 进入容器内部操作,其...

2017-03-17 18:29:09 605 0

原创 docker二进制安装

最近一直在弄docker离线安装,把我的安装步骤写入下,希望能对感兴趣的有所帮助, 安装环境:Ubuntu-server-16.04 一.docker对于安装环境要求很高,下面就让我们来看看其要求: 1.必须是64位的操作系统 2.检测内核版本(要求是3.10 或者更高的版本) ...

2017-03-05 21:06:58 4194 2

原创 docker commit 创建镜像

上一篇写了用docker build和Dockerfile来创建我们的镜像,这次将介绍我们如何用docker commit指令来创建我们的镜像 说明:docker commit 指令是把一个已经存在的容器(我们的应用是在容器中先部署好)创建为一个镜像 使用方法如下: 1.我们...

2016-12-08 17:03:12 2850 0

原创 Dockerfile 创建第一个镜像,docker

在上一篇 《运行第一个docker容器》中我说过docker build 指令是一个相对其他指令比较复杂的指令,这里呢就跟大家一起来分享一下该指令。 docker build 指令是用来创建一个镜像的指令,但是创建镜像需要一个文件叫做 Dockerfile(文件名只能是这个) 其实使用docker...

2016-11-12 17:43:00 837 0

原创 docker指令介绍

运行第一个Docker容器运行指令为:docker <指令>让我们来看看docker指令的运用吧 * 1.info :查看docker程序工作 、、、 sudo docker info 、、、 2.run :运行(创建)一个容器 参数介绍: **1. -i :保证容器...

2016-11-10 11:51:05 211 0

原创 docker安装

目前Docker已经支持非常多的lInux的平台,比如Ubuntu,centos,RHEL;docker也可以在windows和OS X中用Docker Toolbox安装。在这里介绍的是在Ubuntu和centos上安装docker。 在安装docker之前它需要一些先决条件,64位的CPU架构...

2016-11-09 18:20:17 325 3

提示
确定要删除当前文章?
取消 删除