大数据
文章平均质量分 83
qq_14898543
这个作者很懒,什么都没留下…
展开
-
hiredis安装及测试
(1) redis环境搭建 (2) hiredis下载地址及C API github (3) hiredis安装 我是把libhiredis.so放到/usr/local/lib/中,把hiredis.h放到/usr/local/inlcude/hiredis/中的 (4) redis启动关闭 服务启动:redis-转载 2016-08-10 09:55:48 · 745 阅读 · 0 评论 -
Spark RDD API详解(一) Map和Reduce
本文由cmd markdown编辑,原始链接:https://www.zybuluo.com/jewes/note/35032 RDD是什么?RDD是Spark中的抽象数据结构类型,任何数据在Spark中都被表示为RDD。从编程的角度来看,RDD可以简单看成是一个数组。和普通数组的区别是,RDD中的数据是分区存储的,这样不同分区的数据就可以分布在不同的机器上,同时可以被并行处理转载 2017-05-31 14:32:55 · 342 阅读 · 0 评论 -
redis主从配置及主从切换
环境描述:主redis:192.168.10.1 6379从redis:192.168.10.2 6380一、主从配置1、将主从redis配置文件redis.conf中的aemonize no 改为 yes2、修改从redis配置文件redis.conf中的port 6379 改为 6380,添加slaveof 192.168.10.1 6379 3转载 2016-09-30 13:28:17 · 813 阅读 · 0 评论 -
Scala入门
第一篇 Scala入门:Scala例子,以及如何与Java交互本文源自Michel Schinz和Philipp Haller所写的A Scala Tutorial for Java programmers,由Bearice成中文。下面先对Scala进行一个简单的介绍,提供一个简单的Scala例子,并描述一下Scala与Java交互的情况。1 简介本文仅在对Scala语转载 2016-09-06 09:45:10 · 217 阅读 · 0 评论 -
Spark RDD API详解 Map和Reduce
版权声明:本文为博主原创文章,未经博主允许不得转载。目录(?)[+]本文由cmd markdown编辑,原始链接:https://www.zybuluo.com/jewes/note/35032 RDD是什么?RDD是Spark中的抽象数据结构类型,任何数据在Spark中都被表示为RDD。从编程的角度来看,RDD可以简单看成是一个数组。和普通数组转载 2016-09-02 11:25:31 · 212 阅读 · 0 评论 -
redis数据类型详解及适用场景
redis 数据类型详解 以及 redis适用场景场合目录[-]1、显示最新的项目列表2、删除与过滤3、排行榜相关4、按照用户投票和时间排序5、处理过期项目6、计数7、特定时间内的特定项目8、实时分析正在发生的情况,用于数据统计与防止垃圾邮件等9、Pub/Sub10、队列11、缓存1. MySQL+Memca转载 2016-09-12 11:07:56 · 323 阅读 · 0 评论 -
Redis实际应用场景
Redis在很多方面与其他数据库解决方案不同:它使用内存提供主存储支持,而仅使用硬盘做持久性的存储;它的数据模型非常独特,用的是单线程。另一个大区别在于,你可以在开发环境中使用Redis的功能,但却不需要转到Redis。转向Redis当然也是可取的,许多开发者从一开始就把Redis作为首选数据库;但设想如果你的开发环境已经搭建好, 应用已经在上面运行了,那么更换数据库框架显然不那么容易。另转载 2016-08-30 14:25:28 · 203 阅读 · 0 评论 -
Redis常用命令
启动 Redis 服务src/redis-server或者src/redis-server redis.confsrc/redis-server redis.conf 1>log.log 2>errlog.log1为标准输出,2为错误输出将 Redis 作为 Linux 服务随机启动vi /etc/rc.local, 加入代码:/root/insta转载 2016-09-09 13:26:40 · 181 阅读 · 0 评论 -
Redis之——配置文件详解
[plain] view plain copy daemonize yes #是否以后台进程运行,默认为no pidfile /var/run/redis.pid #如以后台进程运行,则需指定一个pid,默认为/var/run/redis.pid bind 127.0.0.1 #绑定主机IP,默认值为127.0.0.1(注释) port 63转载 2016-09-09 12:44:46 · 198 阅读 · 0 评论 -
spark-shell简单使用示例
spark-shell log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARN Please initialize the log4j system properly.log4j:WARN See http://原创 2016-08-29 13:25:50 · 1405 阅读 · 0 评论 -
Spark 1.6.0 单机安装配置
本文将介绍Apache Spark 1.6.0在单机的部署,与在集群中部署的步骤基本一致,只是少了一些master和slave文件的配置。直接安装scala与Spark就可以在单机使用,但如果用到hdfs系统的话hadoop和jdk也要配置,建议全部安装配置好。转载请注明博客原文地址:http://blog.tomgou.xyz/spark-160-dan-ji-an-zhuang-pei-zhi转载 2016-08-29 13:19:18 · 373 阅读 · 0 评论 -
浅谈 Scala 中下划线的用途
Scala 作为一门函数式编程语言,对习惯了指令式编程语言的同学来说,会不大习惯,这里除了思维方式之外,还有语法层面的,比如 underscore(下划线)就会出现在多种场合,令初学者相当疑惑,今天就来总结下 Scala 中下划线的用法。1、存在性类型:Existential typesdef foo(l: List[Option[_]]) = ...2、高阶类型参数:Higher ki转载 2017-05-31 13:44:06 · 272 阅读 · 0 评论