docker操作web化(三)

 前一章节中,讲解了项目的建立。从后面的章节就主要讲系统的开发。 本章节讲解docker版本信息开发 1.前端界面(jquery+bootstrap) 页面代码: <div style="width: 65%;margin: 0 auto; &am...

2018-07-17 15:11:31

阅读数:78

评论数:0

docker操作web化(二)

上一章节介绍了本项目的开发环境。这一章节介绍项目的建立1.安装docker在centos6中安装docker的指令是:yum install docker2.IDEA中建立项目(dockerweb是项目名)在dockerweb目录中创建dockercontroller.py , dockerweb...

2018-07-16 12:20:13

阅读数:42

评论数:0

docker操作web化(一)

近段时间在学习docker和django,感觉光看资料没什么进步和实际应用经验,于是做了一个采用django开发了一个web版操作docker的项目。 项目源码地址:https://github.com/ldysix/dockerweb.git 这一章主要介绍一下项目开发环境   Dock...

2018-07-16 11:37:06

阅读数:71

评论数:0

MapReduce重写FileInputFormat和FileOutputFormat

在mapreduce中默认的mapper输入时LongWritable和Text,reducer输出是part-r-00000文件。但是我们可以通过重写FileInputFormat和FileOutputFormat类来实现自定义的mapper输入和reducer输出。 1.自定义mapper输...

2017-09-22 10:57:58

阅读数:712

评论数:0

hive简介——java连接和数据管理的方式

在hadoop中hive担任的是数据仓库的角色,主要用来存储数据,而且存储的数据是不再修改的数据。hive集成了SQL技术,提供了类SQL的查询语句,称为HQL(和类SQL语句操作一样,在此就不再详细介绍)。在类SQL的增删改查操作中,HQL提供了INSERT(增)和SELECT(查)操作。 h...

2017-09-19 20:33:17

阅读数:438

评论数:0

MapReduce程序编程模型

在hadoop平台中,有一个很重要的组件——MapReduce(hadoop自带的,不用单独安装),它是一个分布式计算框架,该框架提供两个很重要的部件——Mapper和Reducer。 MR的基本执行流程: 从图中,我们可以看出,MR程序从hdfs中读入数据进行分片,形成一个

2017-09-18 09:55:21

阅读数:323

评论数:0

hdfs——hadoop文件读写操作

在hadoop中,有三大法宝——HDFS,MapReduce,Hbase,但是无论是MapReduce,Hbase还是hadoop中的其他组件如:Hive等他们要处理的数据还是处理完了的数据都是存储在HDFS中。可见HDFS可以说是hadoop存储的基础和核心,因此对HDFS的文件读写操作显得十分...

2017-09-18 09:24:44

阅读数:1586

评论数:0

mapreduce链接job流

在我们的日常的数据处理中,往往不是一个MapReduce就可以把需求解决,而是要用多个MR作业来完成对一个问题的求解。但是多个MR作业是如何链接的呢? 在MR框架中提供了三种方法,分别是线性MR job流,复杂MR job流,job设置预处理和后处理。 1.线性MR job流:一个MR作业是将...

2017-09-17 23:28:02

阅读数:154

评论数:0

mapreduce计算平均值

当我们有每一位同学的每一科成绩时,我们计算他们的平均成绩,用传统的方法比较麻烦,如果我们用hadoop中MapReduce组件的话就比较简单了。 测试数据如下: 代码如下:import java.io.IOException; import java.util.Iterator; impo...

2017-09-17 21:10:49

阅读数:994

评论数:0

mapreduce topN算法实现 获取前10个音乐数据

上次通过爬虫获取了音乐的数据,并把数据导入到hdfs中,根据他的点击量获取前10个音乐,测试了半天现在终于弄好了,分享一下,如有更好的思路请指教。 部分原始数据(主要用于测试)如下: 代码如下:import java.io.IOException; import java.net.URI;...

2017-09-12 22:18:42

阅读数:1233

评论数:1

javascript解析json数组

最近写一个程序时,遇到js解析json数组的问题,现在记录如下,供我自己和拥有同样爱好的读者看看。javaweb后台传到前台的json数据如下: {“data”:[{“a_number”:0,”s_id”:1,”m_singer”:” 大塚愛 \t”,”m_number”:1},{“a_numb...

2017-09-04 17:07:54

阅读数:179

评论数:0

python爬取百度音乐(二)——保存数据到mysql中

上篇博客只是爬取了网页上的数据并打印出来,但是在实际开发应用中,数据是要持久保存起来的,数据可以保存到关系型数据库如:mysql中或NoSQL数据库中如:mongodb 这篇博客是把数据保存到mysql数据库中采用的模块是pymysql,[使用方法]http://www.runoob.com/p...

2017-08-20 09:46:31

阅读数:587

评论数:1

Python-爬取百度音乐

最近闲来无事,无意间就看到了百度音乐,于是就写了一个小爬虫来爬取其音乐。使用的模块:urllib2,beautifulsoup urllib2的使用链接:https://docs.python.org/2/library/urllib2.html# beautifusoup的使用链接https...

2017-08-17 15:13:16

阅读数:277

评论数:0

Linux中虚拟内存设置

因为我的云服务器的内存时1G,没有足够的物理内存,如果在执行一些消耗内存的任务,比如编译软件, 可能会造成系统崩溃,解决方法就是设置虚拟内存。 以下操作都是在root用户下进行的。 1.进入根目录 cd / 2.创建一个目录swap mkdir swap 3.设置虚拟内存大小 dd...

2017-07-05 21:06:34

阅读数:272

评论数:0

数据仓库hive安装配置——腾讯云

今天来说说如何在腾讯云上安装部署hive 安装坏境: 腾讯云:1G内存,1M带宽,20G硬盘 操作系统:Ubuntu-16 已经安装好hadoop(版本是2.6.5),jdk的安装路径是:/usr/local/jdk1.8.0_101 hive下载地址:http://mirror.bit.e...

2017-04-30 12:30:32

阅读数:374

评论数:0

hbase伪分布式安装——腾讯云

上一篇写了如何在腾讯云上安装部署 伪分布式 hadoop,今天给大家说说如何在腾讯云上安装部署伪分布式 hbase。 环境: 腾讯云——1G内存,20G硬盘,1M带宽

2017-04-17 09:45:33

阅读数:545

评论数:0

hadoop伪分布式安装-腾讯云

最近学习hadoop,为了方便,于是我在腾讯云上安装部署了 hadoop伪分布式 环境: 腾讯云——1G内存,20G硬盘,1M带宽; 系统是Ubuntu16 java是jdk-8u101-linux-x64.tar(下载地址:http://download.csdn.net/detail/qinx...

2017-04-16 18:16:34

阅读数:1114

评论数:0

docker中安装nginx服务

Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器。 今天就来看看如何在docker中安装nginx服务 安装环境:virtualBox ,64位的Ubuntu-server-16.04版本,采用ubuntu中自带的相应的docker。 所有操作...

2017-04-16 16:48:56

阅读数:7214

评论数:1

java多线程(一)

今天我们来谈谈java中多线程,线程:系统中最小的执行单元。 java对线程的支持分别是Thread类和Runnable接口,并且它们都继承java.lang包 Runnable接口可以避免Thread类的方法的缺陷,Runnable的代码可以被多个线程共享, 可以处理共享同一资源。 ...

2017-04-02 16:17:07

阅读数:224

评论数:0

docker容器,Dockerfile创建 ssh 镜像

docker 创建镜像有两种方式:一种是docker commit 指令,一种是通过docker build 和 Dockerfile 今天在这里给大家介绍如何通过 docker build 和 Dockerfile来创建 ssh 镜像 以下操作环境是:Ubuntu-16.04-server版...

2017-03-20 17:59:51

阅读数:188

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭