2017年08月_蓝天688

原创 java对象和 json字符串转换

利用 com.google.gson.Gson 实现java对象和 json字符串转换1.将java bean转换成Json字符串：123public static String beanToJSONString(Object bean) { return new Gson().toJson(bean

2017-08-30 23:55:40 165

原创 spark 加载多个目录； RDD输出到hdfs文件压缩

(1) spark textFile加载多个目录：其实很简单，将多个目录（对应多个字符串），用,作为分隔符连接起来 val inputPath = List("hdfs://localhost:9000/test/hiveTest", "hdfs://localhost:9000/test/hiveTest2") .mkString(",

2017-08-30 00:32:55 5695

原创 sbt/maven构建scala项目配置文件

在src/main/resources目录下1. 使用java.util.Properties def loadProperties():Unit = { val properties = new Properties() val path = Thread.currentThread().getContextClassLoader.getResource("te

2017-08-16 09:48:18 596

原创 mac/linux 端口占用情况

(1) mac命令 lsof -i tcp:port （port替换成端口号，比如6379）可以查看该端口被什么程序占用，并显示PID，方便KILL(2)linuxnetstat –apn | grep port,for example,netstat –apn | grep 8080

2017-08-10 07:36:58 206

原创 cassandra节点启动报错：java.io.UTFDataFormatException

INFO 01:30:44 Harmless error reading saved cache /hdd1/cassandra/saved_caches/KeyCache-e.dbjava.io.UTFDataFormatException: malformed input around byte 32at java.io.DataInputStream.readUTF(DataInp

2017-08-06 20:54:31 3329 1

原创 SpringBoot中简单使用mongodb

SpringBoot中简单使用mongodb 配置application.properties 应该放最前面#单机spring.data.mongodb.uri=mongodb://name:pass@localhost:27017/test#集群还没测试spring.data.mongodb.uri=mongodb://ip1:po

2017-08-06 20:34:08 1319

原创 cassandra 读写数据一致性(consistency level)

cassandra 提供了高性能的数据写入、读取功能，整个集群形成去中心化的环形结构，没有单点故障，没有主从节点之分，内部节点通过gossip协议进行通讯，不需要依赖外部（hbase通过zookeeper）用户可以制定数据读写一致性（指定数据一次成功写入或读取的副本数目，判断一次读写是否成功），这种策略保证了数据读写一致性，同时满足了不同用户的不同需求。1 读写一致性配置： ht

2017-08-06 10:10:44 5565

原创 springBoot简单学习使用；curl简单使用

1 springboot入门 http://www.jianshu.com/p/45ba074dbc812 curl简单使用 get请求的两种方式 //http://localhost:8080/api/getUserById?id=1&name=xiaohong //curl http://localhost:8080/api/ge

2017-08-04 16:54:42 5570

原创 kafka简单使用

kafka学习与使用:单节点启动kafka：（1） zk_home/bin/zkServer.sh start(start zook) (2) kafka_home/bin/kafka-server-start.sh ../config/server.properties(start kafka)1. 一个topic 分为多个 par

2017-08-03 22:53:35 1834

原创 mongodb 简单学习使用

1. service mongodb start/stop/restart2. command: mongo connet to mongodb instance db.help() db.stats()//database show dbs use test db.movie.insert({"name":"tutorials

2017-08-03 22:51:24 262

原创 mac OS 运行git报错；前端ajax请求，数据跨域，前端获取不到数据

1. mac OS 运行git报错：由于xcode问题造成的xcode-select--install2. 前端ajax请求，数据跨域，前端获取不到数据数据跨域获取不到数据，后端代码处理：在web.xml添加配置filter: 注意filter位置必须放置正确 contextConfigLocation

2017-08-03 22:42:16 385

原创 CASSANDRA READ or write timeout

CASSANDRA READ or write timeout:problem: Cassandra timeout during write query at consistency LOCAL_ONE (1 replica were required but only 0 acknowledged the write) Cassandra timeout d

2017-08-01 23:11:54 4378

u012075079的专栏