- 博客(6)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 商务，需求，代码，市场乱战
创业14个月，公司还存活着，感觉非常不容易，不仅要做市场搞商务，产品的需求，写代码也得上，真正的全栈式工作。平台推出了几个月，还在不断完善和迭代。IT的人力成本确实很高，公司和员工都非常不容易，主要还是生活成本太高，房价在哪里，大部分的奋斗其实都给了房产商和ZF。实体越来越差，IT的衰落也在所难免。聪明人不创业，这是明智的选择，特别是经济下行周期里。但已经开始，自己约的炮，含泪都得打完。
2016-10-26 11:42:16
1774
原创 Oralce错误处理一例（使用OracleBulkCopy要非常小心）
今天在使用OracleBulkCopy进行批量数据导入的时候，发现如果Datatable本身没做主键重复检查，如果导入的数据有重复键，可以导入，但一导入，这个表就基本崩溃不可用了，总是出现索引状态不可用的错误，而且重建索引，删除重复记录等解决方法都没用，最后只能删除表，然后重建表。所以大家要特别小心，如果是正式数据库，这基本就是个大事故了。重要的事情再说一遍：如果使用OracleBulkCop
2016-10-23 09:20:53
4791
原创 Spark学习(文件读取路径）
在不同的启动模式下，加载文件时的路径写法是不一样的，对于local模式下，默认就是读取本地文件，而在standlone或者yarn-client,或者cluster模式下，默认读的都是hdfs文件系统，这几种模式下很难读取本地文件（这是很显然的事情，但你可以通过指定节点的文件服务曲线救国）。下面的代码在local模式下有效，在其它模式下无效：var theP1 = sc.textFile("fil
2016-10-05 16:36:08
8849
原创 Java小坑
最近学习Spark的Scala编程,需要时间处理，用的还是Java这套，在做时间转换成Unix时间戳的时候，发现在Java中，获取某天是getDate，而不是getDay.getDay是获取星期几，害得我调试了小半天才发现是这里错误导致我的程序结果有问题，微软系的转过来估计都有这个错觉。val theNow = new Date()val theSDate = DateAddHelper(theN
2016-10-05 08:09:50
1711
原创 Spark 学习（在master节点提供向外服务）
利用Spark进行数据的处理之后，需要将结果返回给客户端，一种办法就是将处理得结果保存起来，客户端去访问这个结果。这种模式比较适合计算量比较大，结果相对比较稳定，实时性不高的情况。另外一种办法就是直接在SparkContext提供服务给客户端，用JavaWeb进行是一种选项，这里采用利用Scala编程，对外提供http服务，返回的结果是Json格式，下面是代码：import javax.servl
2016-10-04 12:06:27
2246
原创 Spark学习(SparkSQL连接oralce,MySQL)
Oracle 示例：Class.forName("oracle.jdbc.driver.OracleDriver")var theConf = new SparkConf().setAppName("testRDDMethod").setMaster("local")var theSC = new SparkContext(theConf)var theSC2 = new SQ
2016-10-01 19:23:21
6602
Silverlight实战示例7（兼集合属性的妙用)示例代码
2011-08-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人