大数据
文章平均质量分 83
qq_14898543
这个作者很懒,什么都没留下…
展开
-
hiredis安装及测试
(1) redis环境搭建 (2) hiredis下载地址及C API github (3) hiredis安装 我是把libhiredis.so放到/usr/local/lib/中,把hiredis.h放到/usr/local/inlcude/hiredis/中的 (4) redis启动关闭 服务启动:redis-转载 2016-08-10 09:55:48 · 726 阅读 · 0 评论 -
Spark RDD API详解(一) Map和Reduce
本文由cmd markdown编辑,原始链接:https://www.zybuluo.com/jewes/note/35032 RDD是什么? RDD是Spark中的抽象数据结构类型,任何数据在Spark中都被表示为RDD。从编程的角度来看,RDD可以简单看成是一个数组。和普通数组的区别是,RDD中的数据是分区存储的,这样不同分区的数据就可以分布在不同的机器上,同时可以被并行处理转载 2017-05-31 14:32:55 · 312 阅读 · 0 评论 -
redis主从配置及主从切换
环境描述: 主redis:192.168.10.1 6379 从redis:192.168.10.2 6380 一、主从配置 1、将主从redis配置文件redis.conf中的aemonize no 改为 yes 2、修改从redis配置文件redis.conf中的port 6379 改为 6380,添加slaveof 192.168.10.1 6379 3转载 2016-09-30 13:28:17 · 786 阅读 · 0 评论 -
Scala入门
第一篇 Scala入门:Scala例子,以及如何与Java交互 本文源自Michel Schinz和Philipp Haller所写的A Scala Tutorial for Java programmers,由Bearice成中文。下面先对Scala进行一个简单的介绍,提供一个简单的Scala例子,并描述一下Scala与Java交互的情况。 1 简介 本文仅在对Scala语转载 2016-09-06 09:45:10 · 200 阅读 · 0 评论 -
Spark RDD API详解 Map和Reduce
版权声明:本文为博主原创文章,未经博主允许不得转载。 目录(?)[+] 本文由cmd markdown编辑,原始链接:https://www.zybuluo.com/jewes/note/35032 RDD是什么? RDD是Spark中的抽象数据结构类型,任何数据在Spark中都被表示为RDD。从编程的角度来看,RDD可以简单看成是一个数组。和普通数组转载 2016-09-02 11:25:31 · 193 阅读 · 0 评论 -
redis数据类型详解及适用场景
redis 数据类型详解 以及 redis适用场景场合 目录[-] 1、显示最新的项目列表 2、删除与过滤 3、排行榜相关 4、按照用户投票和时间排序 5、处理过期项目 6、计数 7、特定时间内的特定项目 8、实时分析正在发生的情况,用于数据统计与防止垃圾邮件等 9、Pub/Sub 10、队列 11、缓存 1. MySQL+Memca转载 2016-09-12 11:07:56 · 290 阅读 · 0 评论 -
Redis实际应用场景
Redis在很多方面与其他数据库解决方案不同:它使用内存提供主存储支持,而仅使用硬盘做持久性的存储;它的数据模型非常独特,用的是单线程。另一个大区别在于,你可以在开发环境中使用Redis的功能,但却不需要转到Redis。 转向Redis当然也是可取的,许多开发者从一开始就把Redis作为首选数据库;但设想如果你的开发环境已经搭建好, 应用已经在上面运行了,那么更换数据库框架显然不那么容易。另转载 2016-08-30 14:25:28 · 189 阅读 · 0 评论 -
Redis常用命令
启动 Redis 服务 src/redis-server或者src/redis-server redis.conf src/redis-server redis.conf 1>log.log 2>errlog.log 1为标准输出,2为错误输出 将 Redis 作为 Linux 服务随机启动 vi /etc/rc.local, 加入代码: /root/insta转载 2016-09-09 13:26:40 · 169 阅读 · 0 评论 -
Redis之——配置文件详解
[plain] view plain copy daemonize yes #是否以后台进程运行,默认为no pidfile /var/run/redis.pid #如以后台进程运行,则需指定一个pid,默认为/var/run/redis.pid bind 127.0.0.1 #绑定主机IP,默认值为127.0.0.1(注释) port 63转载 2016-09-09 12:44:46 · 184 阅读 · 0 评论 -
spark-shell简单使用示例
spark-shell log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://原创 2016-08-29 13:25:50 · 1388 阅读 · 0 评论 -
Spark 1.6.0 单机安装配置
本文将介绍Apache Spark 1.6.0在单机的部署,与在集群中部署的步骤基本一致,只是少了一些master和slave文件的配置。直接安装scala与Spark就可以在单机使用,但如果用到hdfs系统的话hadoop和jdk也要配置,建议全部安装配置好。转载请注明博客原文地址:http://blog.tomgou.xyz/spark-160-dan-ji-an-zhuang-pei-zhi转载 2016-08-29 13:19:18 · 340 阅读 · 0 评论 -
浅谈 Scala 中下划线的用途
Scala 作为一门函数式编程语言,对习惯了指令式编程语言的同学来说,会不大习惯,这里除了思维方式之外,还有语法层面的,比如 underscore(下划线)就会出现在多种场合,令初学者相当疑惑,今天就来总结下 Scala 中下划线的用法。 1、存在性类型:Existential types def foo(l: List[Option[_]]) = ... 2、高阶类型参数:Higher ki转载 2017-05-31 13:44:06 · 247 阅读 · 0 评论