- 博客(59)
- 收藏
- 关注
RSS订阅原创 大数据测试之hadoop单机环境搭建(超级详细版)
友情提示：本文超级长，请备好瓜子Hadoop的运行模式单机模式是Hadoop的默认模式，在该模式下无需任何守护进程，所有程序都在单个JVM上运行，该模式主要用于开发和调试mapreduce的应用逻辑；伪分布式模式下，Hadoop守护进程运行在一台机器上，模拟一个小规模的集群。该模式在单机模式的基础上增加了代码调试的功能，允许你检查NameNode，DataNode，Jobtracker，Taskt...
2018-01-30 11:07:32
219
转载 cron计划任务、chkconfig工具、systemd管理服务、unit、target介绍
1. linux任务计划cronlinux的大部分系统管理工作都是通过定期自动执行某个脚本来完成的，那么如何定期执行某个脚本呢？这就要借助linux的cron功能了，这部分的内容很重要，请牢记！命令crontablinux的任务计划功能的操作都是通过crontab命令来完成的，其常用的选项有以下几个：-u:表示指定某个用户，不加-u选项则为当前用户。-e：表示制定计划任务-l...
2018-01-30 09:54:45
125
转载 jpa基于按annotation的hibernate主键生成策略
JPA注解持久化类很方便，需要jar包：ejb3-persistence.jar下载一、JPA通用策略生成器通过annotation来映射hibernate实体的,基于annotation的hibernate主键标识为@Id,其生成规则由@GeneratedValue设定的.这里的@id和@GeneratedValue都是JPA的标准用法,JPA提供四种标准用法,由@GeneratedV...
2018-01-29 15:22:00
66
转载 大数据发展火爆，云计算平台主打安全至上
随着互联网、云计算、移动通讯技术发展，数据越来越成为人们不可缺少的重要资产，对人们生活起着重要作用。企业稳抓大数据是关键作为信息时代下的产物，大数据，则是企业和互联网用户之间产生的结构化和非结构化的数据统称。因为大数据内容广泛，无所不渗，大数据包含着客户的喜好和购买打算、甚至一些非常详细的个人讯息等非常重要的资讯，因此，大数据便越来越受到企业和机构...
2018-01-29 10:59:21
98
转载 mysql-cacti-templates-1.1.2.tar.gz 免费下载 cacti MySQL添加监控
cacti MySQL添加监控 1. 安装监控插件 wget http://mysql-cacti-templates.googlecode.com/files/mysql-cacti-templates-1.1.2.tar.gz 假设下载不了 百度云盘上有 http://pan.b...
2018-01-28 10:56:00
136
转载 CMake - SWIG - 移植动态库
CMake - SWIG最后更新日期：2014-04-25 bykagula阅读前提：《CMake入门（二）》、《同Java的混合编程-SWIG》、Linux的基本操作、java基础知识环境:Windows 8.1 64bit英文版，Visual Studio 203 Update1英文版，CMake 2.8.12.2、 Cent OS 6...
2018-01-28 08:36:00
173
转载 Python---面向对象（一）
本文参考资料： http://www.cnblogs.com/wupeiqi/p/4493506.html http://www.cnblogs.com/Eva-J/articles/7293890.html http://www.cnblogs.com/linhaifeng/articles/6182264.html#_label1 Python基础教程（二）、Pyth...
2018-01-28 00:18:00
142
转载 RADIO廉价冗余阵列radio0 dadio1 radio10/01 radio5 radio6
RADIO技术（软件阵列/硬件阵列）的目的是提高磁盘读写的速度和安全性由于软件的可靠性是建立的操作系统上的所以以软件方式实现磁盘阵列安全性较低现在已经很少有人使用，大部分都是采用硬件实现阵列,主流服务器都支持阵列卡（阵列卡决定了阵列的类型）RADIO 0 ：条带模式；将数据通过切割分流写入两个并行的磁盘提高了文件存储的速度（速度x2）缺点：当有一块磁盘坏掉数据丢失RADIO 1 ：镜象模式；将...
2018-01-26 20:10:22
4375
转载 Simple Lambda Sample
例1 用lambda表达式实现Runnable public static void main(String[] args) { Runnable runnable = () -> System.out.println("This is Lambda Test!"); Thread thread = new Thread(runnable); thread.sta...
2018-01-26 10:07:11
142
转载 Nginx 上传图片500错误 open() "/var/lib/nginx/tmp/
2019独角兽企业重金招聘Python工程师标准>>> ...
2018-01-24 20:47:00
429
转载 菜鸟回归……
讲真，自己都想不到自己会再有写博文的兴趣，但既然兴致上来了，也不妨再写写看。 这次回来，就不单纯是信息学的题目了，内容会变的丰富很多。质量嘛……尽量保证把。 之前一直是在个人博客发文，放弃OI之后无心打理。我的数十篇（或许上百？）题解也随之而去，不过反正现在我也不会做了……不过看到这个博客里还有这么多篇内容（和CSDN的老博客相比），我内心竟然涌出了一些难以言说的感情。这就是往昔的...
2018-01-24 20:04:00
41
转载 python 安装pip和Django
下载安装脚本wgethttps://bootstrap.pypa.io/get-pip.pypython3get-pip.py安装完成后安装djangopython3-mpipinstallDjango==1.9.4这就安装完成了。python2的安装发发一样的python2get-pip.pypython2-mpipinstallDjango=...
2018-01-24 17:42:13
94
转载 docker集群部署：第3部分：服务
docker集群部署：第3部分：服务介绍在第3部分中，我们将扩展应用程序并实现负载平衡。关于服务在分布式应用程序中，应用程序的不同部分被称为“服务”。例如，一个视频共享站点，它可能包括一个用于将应用程序数据存储在数据库中的服务，后面的视频转码服务用户上传东西，为前端服务等等。服务实际上只是“生产中的容器”。服务只运行一个镜像，但它定义镜像运行的方式 - 应该使用哪个端口，容器应该运行多少个实...
2018-01-22 22:43:20
51
转载 闭包 装饰器 偏函数
闭包：一个函数可以返回一个计算结果，也可以返回一个函数。返回一个函数时，牢记该函数并未执行，返回函数中不要引用任何可能会变化的变量。匿名函数 lambda：用匿名函数有个好处，因为函数没有名字，不必担心函数名冲突。此外，匿名函数也是一个函数对象，也可以把匿名函数赋值给一个变量，再利用变量来调用该函数装饰器：http://python.jobbole.com/81683/偏函数：函数的参数个数太多，...
2018-01-22 21:04:22
46
转载 频率法：数组排序的另一种思路
通常要排序一个数组免不了要“比较”：比较arr[i]和arr[i+1]的大小关系并判断是否交换；这里我要介绍一种不通过比较数组元素来实现排序的新思路：频率法为了突出频率法和普通方法的区别，我将贴出普通数组排序方法和频率法两者的代码，首先是普通方法（简单的选择排序，基于Java实现）void sort(int[] arr){ ...
2018-01-22 12:20:25
111
转载 集合及其运算
list_1=[1,4,5,7,3,6,7,9]list_1=set(list_1)#将列表转化成集合操作,集合最好的应用是去重list_2=set([2,6,0,66,22,8])print(list_1,list_2)#取两个集合交叉的内容,交集print(list_1.intersection(list_2))#取两个集合的并集print(list_1.uni...
2018-01-21 21:01:00
61
转载 在CentOS7上使用FastDFS搭建文件服务器
1. 系统环境准备首先需要自己在虚拟机上安装CentOS或者本机直接就是CentOS，安装及其它配置过程这里不再介绍，请参考笔者的CentOS7初始配置即可。2. 软件环境准备首先要安装GCC等编译环境及类库。使用如下命令yum -y install gccyum -y install gcc-c++yum -y install stdlibc++-develyum...
2018-01-21 19:03:00
80
转载 【概率论与数理统计】小结8 - 三大抽样分布
注：抽样分布就是统计量的分布，其特点是不包含未知参数且尽可能多的概括了样本信息。除了常见的正态分布之外，还有卡方分布、t分布和F分布为最常见的描述抽样分布的分布函数。这几个分布函数在数理统计中也非常有名。我们常说的卡方检验、t检验和F检验就跟这三个分布有关。下面分别从定义、性质、函数图像和分位数等方面介绍三大分布。0. 分位点/分位数（Fractile）分位数是一个非常重要的概念...
2018-01-21 18:29:00
2119
转载 SQL Server 数据库原理与应用
1. 数据库概述名词解释：DB：数据库DBMS：数据库管理系统DBS：数据库系统DBA：数据库管理员DBAS：数据库应用系统数据管理的三个阶段：人工管理、文件系统阶段、数据库系统阶段。三级模式：外模式：也称子模式或用户模式，它是对数据库用户能够看见和使用的局部数据的逻辑结构和特征的描述。一个数据...
2018-01-21 17:40:44
492
转载 idea下使用Maven找不到类
tags: 解决错误当我们配置好pom文件的时候，准备启动Tomcat，Tomcat缺报找不到类的错误..可是明明我们的pom文件是没有问题的，在web.xml中也是可以ctrl+鼠标左键把类找到...为啥就报这么一个错误呢？？另我百思不得其解，我开始思考的是不是pom错了，可是折腾一番缺没发现错误...后来去找了相关的参考博文：参考博文1参考博文2我就尝试根据他们说讲的，把...
2018-01-21 11:17:48
363
转载 C#初学者们，请离代码生成器远点！！！
在程序开发的世界里，各路前辈们为了提高所谓的编码速度，搞出了各式各样的代码生成器，来避免所谓的重复的人为机械地粘贴和复制代码，以此来提高生产力。早几年前，我可能会认为这样的做法真得有用，特别是在编码速度上。是的，有时候代码生成器是可以帮助我们开发者生成模板化的，规范化的，大批量的机器代码。但许多人就将它当做了程序开发的利器，没有代码生成器完全没法写...
2018-01-20 18:03:00
82
转载 NPM酷库：uuid，生成随机ID
NPM酷库，每天两分钟，了解一个流行NPM库。在中心化应用中，数据记录的ID往往是数据库生成的自增ID，但是在分布式应用中，就会存在一些问题：保存数据之前就需要给数据标识ID数据规模超级大，中央数据库无法满足性能需求UUIDUUID 就是应用在分布式环境中的随机字符串ID，UUID有统一的格式，UUID的标准型式包含32个1...
2018-01-19 14:55:21
806
转载 列式存储
在大数据的HBase中与Hive中都有用到列（族）式存储，列式存储被广泛应用，有关于HBase讲解，请访问我的https://yq.aliyun.com/articles/376750?spm=a2c4e.11155435.0.0.62bc19c8kgVjfV。今天来说一下什么是列式存储。首先行式存储大家都知道，就是一行一行的存储，传统的关系型数据...
2018-01-19 12:34:08
97
转载 shrio 权限管理filterChainDefinitions过滤器配置(转)
/** * Shiro-1.2.2内置的FilterChain * @see ============================================================================================================================= * @see 1)Shiro验证URL时,URL匹配成功便不再...
2018-01-19 10:58:00
82
转载 笑明子 注解
Annotation介绍: 可以理解为：1：在代码中的特殊标记，这些标记不会影响程序的正常运行，但是可以在程序的编译、类加载、运行时读取。 例如：当一个注解被定义为运行时可见时，当class被装载时注解才会被虚拟机读取。 2：注解可以通过使用注解可以：在不改变原有程序的情况下对程序进行补充。 ...
2018-01-18 13:37:00
68
转载 Cocos2dx源码记录(6) CCTrianglesCommand
CCQuadCommand类继承自CCTrianglesCommand类, 因为一个4个点的封闭图形由两个三角形组成.下面先介绍父类CCTrianglesCommand 然后再简单地介绍下CCQuadCommand类#1. CCTrianglesCommand三角形图形的渲染指令, vertsNum = 3.......##1.1 Triangles 结构体struct Triangles...
2018-01-18 08:07:50
241
转载 Flume篇---Flume安装配置与相关使用
一.前述Copy过来一段介绍Apache Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。flume具有高可用，分布式，配置工具，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中存储器中。官网：http://flume.apache.org/FlumeUser...
2018-01-17 19:48:00
134
转载 剑指Offer(四)：重建二叉树
说明： 1.本系列是根据《剑指Offer》这个系列做的一个小笔记。 2.直接动力是因为师兄师姐找工作很难，而且机械出生的我面试算法更难。 3.刚开始准备刷LeetCode、LintCode，突然看见一个大神研究生正在刷这个系列，故跟着大神学习。 4.在别人基础之上进行部分优化，总结自己的观点。题目： 输入某二叉树的前序遍历和中序遍历的结果...
2018-01-17 17:45:00
40
转载 Linux系统下安装rz/sz命令及使用说明
对于经常使用Linux系统的人员来说，少不了将本地的文件上传到服务器或者从服务器上下载文件到本地，rz / sz命令很方便的帮我们实现了这个功能，但是很多Linux系统初始并没有这两个命令。今天，我们就简单的讲解一下如何安装和使用rz、sz命令。1.软件安装（1）编译安装root 账号登陆后，依次执行以下命令：1 cd /tmp2 wget http://www.ohse...
2018-01-17 14:54:00
42
转载 爬虫学习目录
阅读目录第一篇：爬虫基本原理第二篇：请求库之requests,selenium第三篇：解析库之re、beautifulsoup、pyquery第四篇：存储库之mongodb、redis、mysql第五篇：爬虫高性能相关第六篇：Scrapy框架第七篇：爬虫实战 1、破解滑动验证码 2、投递拉钩网简历 3、自动登录123并且自动发送邮箱 4...
2018-01-15 19:36:00
53
转载 Hyperledger Fabric服务器配置及修改Docker容器卷宗存储根目录/位置
Hyperledger Fabric节点服务器对存储空间的消耗还是比较大的，在我实际生产体验的过程中，每一条请求数据大概仅2K左右，但实际占用空间远不止这点，每个节点都会对Block及链进行保存维护，也会将数据解析存储在本地，基本上1000万条数据会占用500G左右的空间。当然，这个仅供参考，不同的业务可能会略有差距。我所负责的业务需要在联盟链搭建初期...
2018-01-15 14:14:00
299
转载 pycharm打开脚本报错Gtk-Message: Failed to load module "canberra-gtk-module"
解决方法sudo apt-get install libcanberra-gtk-module 转载于:https://www.cnblogs.com/duex/p/8280574.html
2018-01-13 21:19:00
97
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人