关闭

scala 关键字seal

简单记一下 1.  http://www.cnblogs.com/rollenholt/p/4192758.html 2. case class override toString case class Person(id: Int, id2: Int) { override def toString = this.productIterator.mkStr...
阅读(5) 评论(0)

scala/java 可变长度参数

1.  转载文章出处:http://www.cnblogs.com/rollenholt/p/4112833.html Scala 允许你指明函数的最后一个参数可以是重复的。这可以允许客户向函数传入可变长度参数列表。想要标注一个重复参数,在参数的类型之后放一个星号。例如: scala> def echo(args: String*) = for (arg <- args) println(...
阅读(9) 评论(0)

What does [B >: A] do in Scala?

(1) down voteaccepted [B >: A] is a lower type bound. It means that B is constrained to be a supertype of A. B 是A的超类 (2) Similarly [B  is an upper type bound, mea...
阅读(9) 评论(0)

cassandra节点异常:java.lang.OutOfMemoryError: Direct buffer memory

宕机两次了: 频繁发送多次请求到cassandra集群, 整个集群down掉, 查看日志发现: debug.log文件: ERROR [ReadStage-146] 2017-09-13 10:40:08,415 JVMStabilityInspector.java:141 - JVM state determined to be unstable.  Exiting for...
阅读(25) 评论(0)

sbt项目中多模块(多个子项目)配置

http://www.scala-sbt.org/0.13/docs/Multi-Project.html (官方文档永远是最好的, 完整的 看不懂多看几遍) http://www.scala-sbt.org/0.13/docs/zh-cn/Multi-Project.html  中文翻译 http://wiki.jikexueyuan.com/project/sbt-ge...
阅读(26) 评论(0)

cassandra nodetool repair

http://cassandra.apache.org/doc/latest/operating/repair.html http://cassandra-reaper.io http://docs.datastax.com/en/cassandra/3.0/cassandra/tools/toolsRepair.html 先收藏,...
阅读(17) 评论(0)

linux free cache

# sync # echo 1 > /proc/sys/vm/drop_caches   echo 2 > /proc/sys/vm/drop_caches   echo 3 > /proc/sys/vm/drop_caches cache释放: To free page cache: echo 1 > /proc/sys/vm/drop_caches To free den...
阅读(19) 评论(0)

cassandra-stress tool

cassandra-stress tool 如何进行压测:  #Insert (write) one million rows   bin/cassandra-stress  write n=50000 -rate threads=5  -node db1,db2,db3 自动创建 a keyspace: keyspace1, and tables: standard1 o...
阅读(29) 评论(1)

cassandra compaction strategy

1.  STCS  write-intensive 2.  LCS read-intensive 3.  TWCS (DTCS)  used for  time series data (set TTL data) from: http://docs.datastax.com/en/cassandra/3.0/cassandra/dml/dmlHowD...
阅读(16) 评论(0)

cassandra ReadTimeout

前后四次查询,前三次查询错误分别如下,  只有第四次查询出来数据 ReadTimeout: Error from server: code=1200 [Coordinator node timed out waiting for replica nodes' responses] message="Operation timed out - received only 0 respo...
阅读(66) 评论(0)

spark streaming restart error: org.apache.spark.SparkException: Yarn application has already ended!

使用 KafkaUtils.createDirectStream,hdfs 设置checkPoint目录, restart  spark streaming application; then error: 17/09/06 10:30:39 ERROR SparkContext: Error initializing SparkContext. org.apache.spark.Spark...
阅读(23) 评论(0)

cassandra compaction; how to process tombstone data

1. 手动compaction  http://thelastpickle.com/blog/2016/10/18/user-defined-compaction.html 2. tombstone data process:     https://opencredo.com/cassandra-tombstones-common-issues/     http://thelas...
阅读(28) 评论(0)

cassandra日常维护

I am using the cluster with 3 cassandra  nodes, the cluster version is 3.0.9. Each day about 200~300 million records are inserted into the cluster. As time goes by,  more and more data occupied more ...
阅读(19) 评论(0)

java对象和 json字符串转换

利用 com.google.gson.Gson 实现java对象和 json字符串转换 1.将java bean转换成Json字符串: 1 2 3 public static String beanToJSONString(Object bean) {     return new Gson().toJson(bean...
阅读(17) 评论(0)

spark 加载多个目录; RDD输出到hdfs文件压缩

(1)  spark textFile加载多个目录:   其实很简单,将多个目录(对应多个字符串),用,作为分隔符连接起来    val inputPath = List("hdfs://localhost:9000/test/hiveTest", "hdfs://localhost:9000/test/hiveTest2")                     .mkString(",...
阅读(72) 评论(0)

sbt/maven构建scala项目配置文件

在src/main/resources目录下 1.   使用java.util.Properties def loadProperties():Unit = { val properties = new Properties() val path = Thread.currentThread().getContextClassLoader.getResource("te...
阅读(38) 评论(0)

mac/linux 端口占用情况

(1) mac 命令 lsof -i tcp:port  (port替换成端口号,比如6379)可以查看该端口被什么程序占用,并显示PID,方便KILL (2)linux netstat –apn | grep port,  for example, netstat –apn | grep 8080...
阅读(22) 评论(0)

cassandra节点启动报错:java.io.UTFDataFormatException

INFO  01:30:44 Harmless error reading saved cache /hdd1/cassandra/saved_caches/KeyCache-e.db java.io.UTFDataFormatException: malformed input around byte 32 at java.io.DataInputStream.readUTF(DataInp...
阅读(87) 评论(0)

SpringBoot中简单使用mongodb

SpringBoot中简单使用mongodb   配置application.properties 应该放最前面 #单机 spring.data.mongodb.uri=mongodb://name:pass@localhost:27017/test #集群 还没测试 spring.data.mongodb.uri=mongodb://ip1:po...
阅读(46) 评论(0)

cassandra 读写数据一致性(consistency level)

cassandra 提供了高性能的数据写入、读取功能,整个集群形成去中心化的环形结构,没有单点故障,没有主从节点之分,内部节点通过gossip协议进行通讯, 不需要依赖外部(hbase通过zookeeper) 用户可以制定数据读写一致性(指定数据一次成功写入或读取的副本数目,判断一次读写是否成功),这种策略保证了数据读写一致性,同时满足了不同用户的不同需求。 1 读写一致性配置: ht...
阅读(123) 评论(0)
42条 共3页1 2 3 下一页 尾页
    个人资料
    • 访问:4855次
    • 积分:418
    • 等级:
    • 排名:千里之外
    • 原创:35篇
    • 转载:4篇
    • 译文:0篇
    • 评论:1条
    文章分类
    最新评论