- 博客(747)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Spark学习（单机本地提交作业）
1）spark-1.3.0-bin-hadoop2.4.tar 解压后是可以直接在Windows下运行的，当然这时只是单机模式。2）本地提交的方法是在Spark的解压主目录下（CMD）进入，输入：bin\spark-submit --class ScalaMain ./test/ScalaJarT.jar local其中ScalaMain是类名（记得命名空间不能丢，我的这个类是没有命名空间的），本
2016-09-06 23:02:32
3681
原创 如何从0构造自己的系统？
1）抄，当然是个非常快捷的方式，但由于抄很多时候只能看到其表面，很难形成一个体系，而构造自己的系统，是一定要成体系的；2）借鉴，跟抄差不多，是集合众之长，这种方式如果产品设计者没有非常深刻的理解，往往到最后就是什么都不像；3）产品需求--〉UI设计--〉架构设计--〉程序设计....这是目前很多公司，特别是创业公司最喜欢的套路，一些做产品的企业也喜欢这样，这种方式其实在于人们对于UI的过分追求而忽
2016-09-06 07:34:19
1523
原创 看看CSDN能不能发布文章
昨天发布了两次技术文章都不见了，发布一篇灌水的看会不会被看不见。发布完成可见，但过不久都不见了。CSDN在做分布式，不一致引起了？别猜了，干活！
2016-09-06 07:17:15
1850
1
原创 CSDN练级
不知不觉写了这么多文章，积分要到20000了，博客到7级，意义呢？其实很多事情没必要寻找意义，因为去寻找意义做的事情，只能证明内心不够强大。小庆祝一下，接下来要多谢技术性的文章，以记录一个IT码农的历史......没有修饰的历史！
2016-08-31 06:43:54
1341
1
原创 从金山毒霸看这个社会的“底线”
言语上的巨人，行动上的小人。毒霸系已经深入劫持我的系统。360本来就是流氓，但毒霸本质上更流氓，却要立个牌坊！其实这也是我们这个社会的真实写照。
2016-08-19 06:50:58
1997
原创 编程小坑（Base64 Code)
如果客户端需要传参数，有时候要转换成base64编码，需要注意的是在传递之前要把+号替换成%20,否则在后台是转不回来的（报转换参数错误），这个小坑耽误了一个程序兄弟2个小时，所以必须记下了，如果其他人也遇到，可以避免这个小坑。程序世界坑很多，趟过就填上。
2016-08-18 18:59:34
1788
原创 滴滴有感
现在的滴滴快车和出租车相比，已经没有什么优势，价格上很多时候都比出租车贵，用户体验差了很多，主要原因其实还是滴滴的快车规则所致。现在的滴滴快车体验不好主要是两个地方;1) 司机绕路2) 司机拖时间绕路可能是因为司机不熟悉，也可能是司机故意，但这个还相对好说点，毕竟大家都有导航；而拖时间，主要是因为时延费，不要小看这每分钟5毛钱，10分钟5块钱。原来坐滴滴快车感觉不出这种，现在坐滴滴非常明显，反正司
2016-07-26 08:59:02
2423
1
原创 Scala学习(本地向量集 loadLibSVMFile)
这是SVM文件格式例子：1 1:2 2:3 3:42 1:1 2:2 3:31 1:1 2:3 3:31 1:3 2:1 3:3需要注意以下几点：1）标签列可以重复2）索引要从1开始，从0开始的时候生成的内部索引时从-1开始，而且数据长度会比实际少1；3）数据的长度是以最大列数为准的，因此最好是要保持数据列数一致；Scala的MLib支持的本地数据的类型主要是整数和浮点数，因为MLib主要是用
2016-07-25 08:58:19
7074
2
原创 Scala的var,val
其实就是变量和常量的区别，之所以在这种函数式编程语言里，要求大家尽量使用val（常量），少使用var（变量），其中一个很重要的原因是多线程中并发访问中的读写一致性原因。对于变量来说，因为值可以被其它逻辑修改，就存在读写一致性问题，如果读写一致性会影响业务逻辑，就需要增加这种额外的代码来维持这种读写一致性。而对于常量来说，由于不能修改，所以就不存在读写一致性的问题。在编程中，变量的这种可修改性其实是
2016-07-24 21:56:28
2913
原创 Spark学习(3)--Scala语言学习
花了半天的时间，熟悉了一下Scala的基本语法，说实在的，Scala的语法确实让人感觉不怎么舒服，其实编程语言发展到现在，已经非常成熟，语法上Scala明显是c+pascal混合风格，而且有些地方甚至有些不伦不类。说实在的，跟F#明显不在一个档次上。当然，学习语言，不时为了语法，而是为了后面的编程。虽然Scala难用点，但对于看多了编程语言的老鸟来说，虽然感觉不舒服，但用起来还是没问题的。何况
2016-07-18 08:57:11
3840
原创 Spark学习(2)
昨天安装完成，起床后抄了个简单的单词计数，单机版运行成功，从Java和Scala两种语言比较来看，Scala在做Spark开发的时候确实要简练很多：/** * Created by tsq on 2016-07-17. */import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;impo
2016-07-17 12:28:18
6305
原创 spark学习(1)
考虑到公司的发展和未来，以及合作业务的关系，作为技术男，忍不住开始了大数据之路，先选择Spark练练手。原来虽然对云计算，大数据分析之类的算法有个一阵子的研究，也对Hadoop的原理做个研究和模拟，但真正开始实战，还是得从头学起。买了几本书，就开始上路了。今天安装了Java，也完成了Scala安装，安装IntellijIDE倒是很顺利，但下载Scala插件的时候老是中断，幸好IE有续传功能，但到现
2016-07-16 22:12:50
4156
原创 第一次使用CEF做个Demo
1）使用VS2013，新建一个winform程序，然后用NutGet安装cefsharp.winform包；2）添加后，直接运行会报错，因为Cefsharp没有针对AnyCpu的模式，所以将程序的生成目标平台改成x64(x86根据自己需要)(点击生成--〉选项目所在的平台（默认只有AnyCpu），没有X64或者X86,自己可以新建一个目标平台；3） 初始化代码如下：using System;us
2016-07-14 21:05:35
9758
1
原创 地球历史很长，而“人”的历史很短
相比于地球40多亿年的历史，人作为高等动物统治地球的历史满打满算不会超过10W年，而打着文明社会的标签也1万年不到，所以人性的后天对于先天来说是非常微不足道的。所以历史在进步，但人性基本不变。鲁迅笔下的阿Q好像是一百多年前的人物，但其实在现在也一样比比皆是。因此对着满朋友圈的廉价爱国宣示之类的，特别是提出砸XX车，地址XX货的人，心态要平和点。那只不过是一个借口！
2016-07-14 09:06:26
3335
原创 祝贺：神威太湖之光夺冠Top500，采用国产众核处理器SW26010
只要有进步救得祝贺。只要用对地方，中国人的聪明就能发挥极致，人多，有的时候真的是有优势的，各个地方都能有人投入。再次祝贺，希望能在年底拿到更高的荣誉！
2016-06-21 21:59:15
4278
原创 3D建模，打印正当时
昨天参观了一家做牙齿的工厂，用3D扫描建立牙齿模型，然后利用3D打印来打印出牙模，后面的工艺当然还是传统的，但行业中走在前面的已经开始根据口腔扫描然后直接打印牙齿。不过在工业化路上，这种直接打印牙齿还是存在一些问题，主要是打印材料的原因。3D建模的应用范围很广，3D打印的成本相对于工业化模具生产还是有些高，但3D打印在一些高端领域，或者个性化很强的领域（比如牙齿制造）还是非常有前途的。技术改变世界
2016-06-19 07:18:19
4034
原创 虚拟世界和现实世界的未来
基于现有科学技术来认知，虚拟世界和现实世界是可以统一的，当然，AR也好，VR也好，VR+AR也好，这些技术都还处于发展的初期，但从科学认知上来说，虚拟世界和现实世界实现转换，正如时空转换一样，这都是必然的发展结果。冷核聚变+量子计算+人工智能+仿生学的组合爆发将会彻底改变这个世界，昨天有位朋友说我们是早生了100年，我理解他的意思。因为100年后，按照现在的发展速度，我们是可以成仙的。不过我们也赶
2016-06-12 22:06:11
4764
原创 微商的不可持续性
朋友圈里有不少朋友都在做微商，其实做微商没有什么不好，这跟开店什么的本质没有什么区别，所以我从来不屏蔽他们，我需要的时候也会向他们去买。今天写这个文章，只是觉得这种商业模式存在着几个致命的问题：1）微商模式会加剧两级分化 由于微商的门槛很低，时间自由，而且微商属于圈子经济，靠朋友圈是很难支持全职模式的（全职的就只能靠发展下线来支持，这个我后面会讲），因此，很多人都是兼职做，也只能兼职做。微
2016-05-29 20:36:36
7010
原创 人在合作中需要抑制自己的贪婪
很多项目的合作，包括一些外包项目的失败，其实都是人性的贪婪所致，甲乙双方在合作的过程中，开始的时候，甲方往往会压低价格，而在合作中会不断提出更多的要求，软件这个行业非常特殊的地方就是边界并不是如项目管理书籍说的那样可以界定清晰地。如果乙方因为某种原因接下项目，在开发过程中肯定会对这些需求表示不满，由于付款的原因，也许不会做声，但心里肯定会有记忆。项目的质量就会在这些不满和不快中大打折扣。更为严重的
2016-05-19 11:36:40
7525
2
原创 船已开始颠簸，大家坐好
个人可以理性，但群体则很难理性。如果一个群体进入到恶性循环，就很难回来了，原因很简单，个体可以做出壮士断腕的决定，但群体要做出这种决策非常困难。这段时间，热点事件很多，很多高层和官方媒体的声音开始打架，声音已经无法维持一致。后面的热点会更多。经济L型也好，倒L型也好，都表明我们这艘大船已经开始颠簸，目前这种体制和文化下，要纠正其实是非常困难的，已经习惯了增长的人们，不会选择利他的选项。现在的局面就
2016-05-19 06:30:58
6291
原创 VR类应用创业并不当时
虽然现在VR类很火，但真正能商业化的面还非常窄，因此现在的VR投资就是一个场泡沫，等泡沫灭了大家做VR应用的再上，原因非常简单，现在的基础设施还需要很多泡沐去填的。时间点把我住很重要，VR深入普通人的生活，至少还要5年，现在这个点进去，很多人怕是等不到天亮的。
2016-05-16 12:00:10
5650
原创 主流应用系统的进化路线
下面是企业应用系统的进化路线：1）单机应用； 单机应用有CS模式，也有一体化模式，这个时候很多的数据库本身就提供界面功能，比如Foxpro等。2）局域网应用； 一般是CS模式，数据库和客户端分离，有利于数据共享和协作；3）互联网应用； 一般以BS模式为主，CS多以VPN方式进行或者采用三层结构。4）移动互联网应用 客户端以App为主，本质上类似于CS三层结构，
2016-05-16 11:39:58
6389
原创 气候的异常
最近2年的气候都比较异常，而且是全球性的，有的地方暴雨不断，有的地方干旱连连，有的地方忽冷忽热，环太平洋更是地震频发。本质上气候是地球运动的结果。对于我们普通人而已，是没有时间去研究原因的，但我们应该知道，气候的改变肯定会影响人类社会。这里面有危险，当然也同样有生机。今年的物价肯定会飞升的，冬天防冷，夏天防热的开支会大幅度提升。环保意识的增强，碳排放其实并不是首要的，关键在于污染（垃圾，废水等），
2016-05-09 09:19:39
7138
原创 文化决定了无法创新
一个民族的文化其实就是一个民族思想的浓缩，个体有创新思想，但由于占群体的比例很小，创新就不会体现在整体上。我们的传统文化是一种守成文化，内向性文化或者向后看文化，这种文化不具有创新的基因。作为个体，应该有不少的创新人才，但整体来说，这种人才都是边缘性的，非主流。因此在这种文化下的各种体制也好，机制也好，创新都是很困难的。要创新就要改造思想，要形成创新的文化。一句话，在中国，创新是个名词，真正的创新
2016-05-05 07:33:00
7690
原创 Xamarin开源，移动开发的新局面
在前不久举行的 Build 2016 开发者大会上，微软宣布它收购的 Xamarin 将在不久后开源。现在，.NET 移动开发框架 Xamari 正式开源，源代码采用 MIT 许可证，托管在 GitHub 上。Xamarin 开源的 SDK 和库包括了 Xamarin.iOS、Xamarin.Android、Xamarin.Forms 以及其它开源组件等等。这些开源项目将由 .NET 基金会管
2016-04-29 08:54:34
7433
原创 我们可以人造人类么？
答案是肯定的，这个无用质疑，因为在原子级别，人其实就是机器，只要我们的技术能完全掌控原子，复制我们自己就是非常简单的事情。人类的思维并不是不可模拟的和学习的，人工智能也同样可以做到。这里面当然有达到这种程度所需要的时间。但我们一定要注意，技术的发展是可以组合式的，是相互促进的，其发展速度不能低估。所以长生不老什么的都是肯定的，当然这个长生也是相对的，因为对于宇宙而言是否具有最终的寿命目前来说是未知
2016-04-24 20:52:40
5096
原创 经济危机，其实机会大于危险
现在实体很困难，传统的行业掀起倒闭潮，但任何事情都是两面的，“沉舟侧傍千帆过，病树前途万木春”，这种倒闭潮会促使很多人开始寻找出路，在中国，不亚于重构整个体系。而随着人对环境和生活品质的要求越来越高，靠造假和出卖劳动力的发展方式已经走到尽头。拥有技术知识的人才将会迎来大好的发展机会。读书无用论的产生其实也代表着读书很有用的时代的到来。促进人类发展的只有文化和技术，在移动互联网时代，物流网时代，人工
2016-04-24 19:26:01
6272
原创 企业云化应用(SaaS)是未来绝对的趋势
企业应用SaaS化（公有还是私有）是未来的绝对趋势，原因在于这种模式可以提高社会生产效率，降低社会化生产的成本。数据安全和数据隐私都是相对的，是绝对挡不住这种技术趋势的。到现在，也有很多人不用互联网支付，不用微信等聊天工具，排除年龄因素，这些人毕竟都是少数，对于整个人类社会而言，这部人的拒绝毫无作用。也正如很多人担心人工智能一样，担心是没有用的，人工智能最后还是会发展到比人厉害的地步。人类科技的发
2016-04-20 21:32:39
8358
1
原创 未来的趋势
信息科学不是一个行业，是一门基础科学，互联网可以称为一个行业，但其所代表的信息技术却是各行各业都需要的基础元素。我们可以将信息技术的延伸看作是我们大脑的延伸。那么，人工智能还是在扩展我们大脑的路上。智能化是未来所有行业的发展趋势。正如互联网的工具论一样，虽然智能化也可以看做工具，但不能只简单的看作是工具。特别是不能因此而轻视。量子计算机的出现会极大促进信息技术的发展，但量子技术一样是基础性的技术，
2016-04-18 06:36:46
4383
原创 激光加速光帆可行么？
首先不管可行还是不可行，去研究总是可行的，也是非常好的事情。但从目前的技术来说，根据我已有的物理水平来判断，我觉得可能性很低。真要做工程量也是非常巨大，几个亿，几十个亿美元是杯水车薪。我觉得在太阳系内航行，现有的方式基本就可以，但对于星系之间的旅行，靠这种推进的模式还是非常困难的。其实对于航行来说，其实就是克服源的引力来朝目标源航行。如果能实现单向屏蔽引力，这种航行就会轻松很多，也就是原来一方拉一
2016-04-16 14:04:18
4850
原创 房价之殇
各地暴涨的房价看似是一种财富的辉煌，但本质上是一种房地产利益圈对其他人的无情掠夺。有的人喜欢将实体经济的衰落原因归咎于互联网，其实是谬误的。原因非常简单：1）互联网，特别是移动互联网的兴起虽然会对很多实体，特别是中间环节的实体造成一定的冲击，但新兴的技术同样会带来更多领域对于这种技术的需求和改造，由于新的技术可以带来整个社会成本的降低（这是必须的，否则新的技术是无法生存的），反而会促成整个社会的繁
2016-04-04 09:16:24
1873
原创 如何学习？
最近有朋友私下问如何学习的问题，我感觉这个问题问得有点大，我还真没有这个能力能把这个问题说清楚，就我个人而言，也许是从小养成的自学习惯，在学习中，有的时候有些优势，但也不能说这就是唯一的路。因此在这里分享一下我认为的有用的地方，希望对大家有帮助：1） 有目标，多动手，多总结人的精力是有限的，如果要学习某个领域的知识，不能全面铺开，要先树立一个目标，然后根据目标进行分解，找有用的书去看，因为现在的书
2016-03-22 15:42:51
2128
4
原创 人的惯性思维
这次AlphaGo以4：1战胜李世石，结果不算意外，几年前，我也觉得围棋被机器干掉距离还很远，理由其实很简单，就是围棋的计算量非常大。持有这种观念的人大有人在，包括赫赫有名的围棋大师聂卫平。持这种观念其实属于正常人，因为我们一致认为计算机的特长在计算，对于人类这种抽象能力 ，计算机是没法学的。但我们都忽视了一个基本的东西：从原子的角度，计算机和人其实是没有什么区别的，人能学习，机器注定是可以学习的
2016-03-16 22:34:10
3587
原创 从AlphaGO的胜利来看人类趋势
人机大战，李九段赢了一局，也说明机器还有缺点，其实我觉得人类的优势在于抽象思维和直觉式全局观。人机大战，虽然是机器胜了，但本质是人类的伟大突破，人终于从简单的对自身能力的模仿，发展到了对人类思维这一最为核心的领域的模拟。这一突破注定是里程碑式的，人类终于可以全面解放自己。但人类也面临着第一次工业革命机械替代人力以来又一次大规模替代，这次的替代将会比第一次更让人类纠结，人类将面对的冲击不仅仅是就业问
2016-03-13 21:19:30
2497
3
原创 热烈祝贺阿尔法Go首战告捷
这是人类的一大杰作和进步，一个国家和民族的未来在科技，靠造房子是成不了科技强国的。当然，也要祝贺一下北上深房价突破历史高位。这也是伟大而不朽的成果。
2016-03-09 17:23:50
2259
2
原创 互联网发展的思考
1) 对于互联网，有行业论，工具论，也有人说互联网是一种资源，是一种类似于电的基本元素，这些看法都没有错，但我觉得分析互联网一定要将互联网放在人类信息技术发展的大的环境里，不能简单的认为互联网是一种信息技术。我们现在所说的互联网所代表的应该是信息技术发展到一定阶段的一种展现形态。过去时代的发展，大多扩展的是人类的物理能力（力量，速度等），对于人类思维和意识的研究突破很少。因为人类的思维和意识是
2016-03-09 00:58:28
3267
1
原创 TRIZ的成功案例
这篇采访稿是几年前的，是TRIZ成功案例离我最近的，因为主人公是我的朋友，请点击查看：培训后技术难题就解决了后记：学了TRIZ并不能让您100%解决您所有遇到的问题，但这种思想和方法确实是最具操作性的创新发明方法。传播思想，践行理念，成就未来.
2016-03-01 07:01:49
9298
1
原创 真要救经济，就应该放掉房地产，减税
现在的房价很疯狂，上海的天价成交，深圳的赶超香港，已经进入最后的疯狂，其背后其实是认为的对倒，当然不排除有傻子接盘。实体经济没有起色，是无法支撑起这种高房价的，而社会的生产效率的对比同样无法支持现有的汇率。这个世界本质上靠的还是实力。如果写一行hello word,其中只有llo word都是税费，怎么救，怎么鼓动，经济都不会好起来。转型不是一句口号就能解决的，转型一定需要利润空间来支撑（人的转型
2016-02-23 13:38:37
2341
2
Silverlight实战示例7（兼集合属性的妙用)示例代码
2011-08-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人