大数据/云计算
飞奔的大土豆
今天最好的表现是明天最低的要求
未来早已到来,只是还未普及
展开
-
Spark基本概念快速入门
转地址:http://www.jianshu.com/p/e41b18a7e202Spark集群一组计算机的集合,每个计算机节点作为独立的计算资源,又可以虚拟出多个具备计算能力的虚拟机,这些虚拟机是集群中的计算单元。Spark的核心模块专注于调度和管理虚拟机之上分布式计算任务的执行,集群中的计算资源则交给Cluster Manager这个角色来管理,Clus转载 2017-11-19 19:18:25 · 303 阅读 · 0 评论 -
mount is not a block device及Docker容器内应用的日志收集
有的时候不想删除与软链接同名的旧目录,并且也不想重命名旧目录,可以使用如下命令直接挂载: # mount /dev/cdrom /mnt/cdrom -B 其中的关键在【-B】这个参数,其意思是: -B, --bind 挂载其他位置的子树(同 -o bind) (ps:文件同理)[root@alex /alex/data/nginx/conf]$ mkdir logs[root@alex ...原创 2019-01-18 00:14:42 · 10297 阅读 · 0 评论 -
centos7 搭建Hadoop 50070端口无法开启及jps查看datanode已启动namenode查不到
CDH 镜像地址 apach官方镜像地址 按需选择下载安装最近由于项目需要开始接触hadoop,在配置伪分布式启动后,jps查询进程发现少了namenode,而DataNode却存在。 配置内容及流程如下:Configuration Use the following: 0:安装jdk并配置hadoop-env.sh的JAVA_HOME 必须在hadoop-...原创 2018-09-08 21:09:14 · 2757 阅读 · 0 评论 -
zookeeper 入坑二: Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to aut
前几段的时候,Zookeeper的安装是成功的,也启动成功,但是今天不知道就怎么了,另外一台装突然就一直启动不起来。在‘#’后面的是注释: # 目前所在的位置:[scidb@localhost bin]$ pwd/home/scidb/zookeeper/zookeeper-3.4.8/bin # 在bin的文件下有这些文件:[scidb@localhost bin]$ ls README.txt...原创 2018-06-30 18:58:40 · 403500 阅读 · 9 评论 -
mysql与mongodb时间差区别
需求描述:遇到mongodb 求记录中 计算两时间(ISODate)差值并求和,故对比mysql 里面的TIMESTAMPDIFF做个记录(ps:写此篇,主要原因是在百度3min中内没解决)mysql :demo如图SELECT START_TIME,END_TIME FROM alarm_info WHERE ALARM_SEQ=292 OR ALARM_SEQ=291UNION ALL...原创 2018-04-04 18:41:39 · 715 阅读 · 0 评论 -
centos 7 搭建zookeeper Error contacting service. It is probably not running
在安装ZooKeeper之前,ZooKeeper服务器是用Java创建的,它运行在JVM上。您需要使用JDK 6或更高版本。参考文章:https://www.tutorialspoint.com/zookeeper/zookeeper_installation.htm错误提示:Error contacting service. It is probably not running菜坑两处:一:w...原创 2018-02-25 18:10:57 · 2006 阅读 · 0 评论 -
利用IntelliJ IDEA与Maven开始你的Scala之旅
转载地址:https://www.jianshu.com/p/ecc6eb298b8f weizier 关注2016.10.23 00:18* 字数 3925 阅读 18482评论 19喜欢 75赞赏 2一. IntelliJ IDEA安装及配置1.1 IntelliJ IDEA下载及安装首先在 CHOOSE YOUR EDITION 这转载 2018-01-26 13:47:26 · 198 阅读 · 0 评论 -
mongoImpoert CSV 格式数据导入
网上找了众多什么详细教程都是以及终极解决方案,都是一本正经的胡说,浪费我太宝贵长时间,为了净化百度内容,作此纪念(百度三小时,google五分钟解决)参考文章:https://stackoverflow.com/questions/4686500/how-to-use-mongoimport-to-import-csv某°上有人太多人说什么csv格式不正确导致,不能再bin目录下操作要用c原创 2018-02-02 13:39:39 · 250 阅读 · 0 评论 -
MongoDB 导入 CSV 格式数据详细过程
参考资料mongoimport — MongoDB Manual 3.4: https://docs.mongodb.com/manual/reference/program/mongoimport/http://blog.csdn.net/u012318074/article/details/77713228主要介绍使用自带工具mongoimport工具将 CSV 格式数据导入到 MongoD...转载 2018-04-24 18:38:07 · 9898 阅读 · 1 评论 -
Docker快速部署ELK
一、背景笔者所在项目组的项目要做安全等保:用到部署日志审计系统;此前听说有ELK这种神器,搜索了一下,发现利用docker搭建似乎并不麻烦,于是进行了一番尝试(运维人家觉得做个样子,不想让接入他们的ELK),那就自己搞呗,结果还比较顺利,blog很多比较详细版本,这里仅限记录,希望留给有需要的读者进行参考。笔者这次实践的过程当中参考了较多的文档与笔记,参考的链接地址有:Docker log...原创 2019-01-18 15:20:39 · 994 阅读 · 0 评论