- 博客(55)
- 收藏
- 关注
转载 Hadoop的知识架构
(一).Hadoop的起源与背景知识1,什么事大数据?两个例子,大数据的核心问题是什么?2,概念:数据仓库(Data warehouse)3,概念:OLTP和OLAP4,(最重要的内容)Google的几篇论文:3篇(1)GFS:Google File System ---->HDFS(2)MapReduce计算模型 ---->Hadoop MapReduce( 3 )
2018-01-31 09:50:33
342
转载 数据仓库之数据模型
关于数据仓库的概念,这里不再累赘。先看下面的图(数据仓库建设的7个主要环节):本文,主要针对第三块数据仓库模型设计来讨论交流,尤其是互联网行业。一、关于数据仓库数据模型1. 数据仓库数据模型是指使用实体、属性及其关系对企业运营和逻辑规则进行统一的定义、编码和命名;是业务人员和开发人员之间沟通的一套语言。2. 数据仓库数据模型的作用:· 统一企业的数据视图;· 定义业
2018-01-31 09:50:12
7156
转载 Nginx的基本配置与优化
1、Nginx的nginx.conf文件详解:root@ha1 conf]# cat nginx.conf#user nobody; 使用的用户和组 eg user nginx nginxworker_processes 1; 指定工作衍生进程数(一般等于cpu的总核数的俩倍)#error_log logs/error.log; 指定错误日志存放的路径#error_log lo
2018-01-31 09:49:48
175
转载 Hadoop生态圈知识概述
一 . hadoop 生态概况Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop 的核心是 YARN,HDFS 和 Mapreduce下图是 hadoop 生态系统,集成 spark 生态圈。在未来一段时间内, hadoop 将于
2018-01-31 09:49:29
333
转载 区块链技术
区块链简介区块链定义区块链可以理解为是基于区块链技术形成的公共数据库。而区块链技术是比特币的底层技术,包含现代密码学、分布式一致性协议、点对点网络通信等技术。下图是区块链技术架构,大致可以看到是这些技术通过一定的规则协议,最终形成区块链技术。 区块链分类以参与方分类,区块链可以分为:公共链、联盟链、私有链。公共链公共链就是对外公开,任何人都可以参与。公共链是真正意义上的完全区去中心化的区块链,它通...
2018-01-30 16:14:25
12721
1
转载 区块链 入门 基础知识
区块链 概念:区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的 新型应用模式。所谓共识机制是区块链系统中实现不同节点之间建立信任、获取权益的数学算法特征:1,去中心化2,开放性3,自治性4,信息不可篡改性5,匿名性分布式数据存储共识机制定义: 由于点对点网络下存在较高的网络延迟,各个节点所观察到的事务先后顺序不可能完全一致。因
2018-01-30 16:08:04
627
转载 区块链入门教程
区块链(blockchain)是眼下的大热门,新闻媒体大量报道,宣称它将创造未来。可是,简单易懂的入门文章却很少。区块链到底是什么,有何特别之处,很少有解释。下面,我就来尝试,写一篇最好懂的区块链教程。毕竟它也不是很难的东西,核心概念非常简单,几句话就能说清楚。我希望读完本文,你不仅可以理解区块链,还会明白什么是挖矿、为什么挖矿越来越难等问题。需要说明的是,我并非这
2018-01-30 15:59:01
448
转载 R基础入门教程
由于一个项目原因,需要用到R对数据进行回归分析和数据挖掘,因此花半天时间对R进行了一个基础的学习。这是之前整理的网易云课程上的一个视频教程中整理的。这里贴出来,也提供给源代码下载地址(http://pan.baidu.com/s/1c1mV0Xy),方便大家直接在RStudio中执行测试,也方便自己和大家在学习过程中对基本的指令的查询。我刚发现,有可能第一次打开会出现乱码。这时候在
2018-01-30 11:59:12
3544
转载 python基础
python基础这篇算是教程吧,该教程适合已经有过其他语言基础的学者,该教程只是为了达到熟悉 python 的语法数据类型stringprint("hello world")print('hello world')print('''hello world''')print(name +"name" + str(age) +"age")print("{0}
2018-01-30 09:31:32
461
原创 linux常用命令
1. 打开文件 : cd2. 查看tomcat进程 : ps -ef|grep tomcat3. 查看当前目录:pwd4. 查看cpu使用情况:top5. 备份文件:cp -r ../project/webpay webpay_201707136. 创建文件:mkdir 文件名或相对路径7. 删除文件:rm -r 文件名或相对路径8. tomcat的启
2018-01-29 14:34:01
190
转载 shell 常用命令
一、Linux下常用命令:文件与目录操作basename:从文件名中去掉路径和扩展名cd:切换当前工作目录到指定目录chgrp:改变文件所属组chmod:改变文件的权限chown:改变文件的所有者和组cp:复制文件或目录dd:复制文件并转换文件内容file:确定文件类型find:在指定目录下查找文件并执行指定的操作ln:创建文件链接locate/slocate:快速定位文件的
2018-01-29 14:29:07
189
转载 Linux时间同步
嗨,大家好。上周讲到了守护进程的管理,这周就来讲讲守护进程中的时间同步守护进程。不管是windows还是linux,都会涉及到时间同步,我们的系统时间是一个标准的时间,由于系统运行时间过长,伴随着各方面的原因,时间总会多多少少出现一些微小的差距。而服务器如果时间与标准时间出现差别的话,会出现某些问题,因为服务器不是单单为个人服务,而是为复数客户端服务的。大家
2018-01-29 14:02:00
890
原创 重启tomcat服务的shell 实例
#!/bin/bashtomcat_name=tomcat79copy_tomcat_log=/home/mm/tomcat_log/logscopy_tomcat_work=/home/mm/tomcat_log/worktomcat_home=/home/mm/$tomcat_nameSHUTDOWN=$tomcat_home/bin/shutdown.sh START=$tom
2018-01-29 13:58:29
205
转载 Linux shell脚本全面学习
Linux shell脚本全面学习 1. Linux 脚本编写基础1.1 语法基本介绍1.1.1 开头程序必须以下面的行开始(必须方在文件的第一行): #!/bin/sh 符号#!用来告诉系统它后面的参数是用来执行该文件的程序。在这个例子中我们使用/bin/sh来执行程序。当编辑好脚本时,如果要执行该脚本,还必须使其可执行,也就是要改变该脚本文件的使用权限,用到命
2018-01-29 13:51:30
266
转载 Spring 动态定时器
框架:Spring3 MVC利用的jar包:quartz-1.8.5.jar,org.springframework.context.support-3.0.6.RELEASE.jar(或许还有其他包吧,但是因为工作的框架中其他都包都已经有了,这个是我做定时器是缺少的包,其中第2个包是在spring3.0.rar包下,可以从官网下载)前几
2016-08-15 11:11:44
333
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅