【C、Java与网络编程】
文章平均质量分 77
flash胜龙
异构编程、机器学习框架设计
展开
-
SSH框架特例实战【二】关于Autowir…
在spring的配置文件里面只需要加上和<context:component-scanbase-package="需要实现注入的类所在包"/>,可以使用base-package="*"表示全部的类。 spring 2.5 引入了 @Autowired注释,它可以对类成员变量、方法及构造函数进行标注,完成自动装配的工作。下面就是@Autowired讲解: 【找不到Impl怎么办】当不能确原创 2017-04-21 10:52:55 · 294 阅读 · 0 评论 -
虚拟机Hadoop实战(三)datanode无…
在配置好2台预装优麒麟Linux系统虚拟机的hadoop以后,我回头重新试了试之前装残的Ubuntu ServerLTS,在输入一些上传文件的命令的时候:bin/hdfs dfs -put etc/hadoop/*.xml input出现这样的问题:There are 0 datanode(s) running and node(s) are excluded in thisoperat原创 2017-04-21 10:53:52 · 889 阅读 · 0 评论 -
虚拟机Hadoop实战(四)namenode无…
有可能是namenode配置问题,用停止命令发觉如下情况$ sbin/stop-dfs.shStopping namenodes on [localhost]localhost: no namenode to stoplocalhost: stopping datanodeStopping secondary namenodes [0.0.0.0]0.0.0.0: stopping s原创 2017-04-21 10:53:55 · 2159 阅读 · 0 评论 -
虚拟机Hadoop实战(五)用java编写…
终于成功写了个从windows上传文件到远程Linux上hadoop系统,并下载回来的程序【结果图】 新建Netbeans工程,选择普通的JavaSE应用程序,命令行的即可。其实Hadoop的程序并不复杂,只是内部依赖的包众多,很容易导致编译出错。【系统配置简介】1、使用NetbeansIDE的环境是windows,远程连接的Hadoop在地址为10.100.78.101原创 2017-04-21 10:53:58 · 927 阅读 · 0 评论 -
虚拟机Hadoop实战(六)用java编写…
【结果图】将file1.txt和file2.txt中的项目去重同样在Netbeans环境下,新建一个基本的Java SE工程这个Dedup程序,总感觉似乎仅仅是把本地的文件给传到Hadoop去做Map-Reduce了。工程类库的导入,Hadoop的环境,简要参考前一章《虚拟机Hadoop实战(五)用java编写远程hadoop文件上传下载程序》中的设置:hadoop-2.7.3\sh原创 2017-04-21 10:54:01 · 367 阅读 · 0 评论 -
OOZIE系统遇到的各种问题解决
这玩意儿装起来真是呕心沥血。网上找不到编译后的文件,下载下来是源码,大小只有2.27 MB……编译完变成2GB了。得装mysql得装maven(这个尤其重要)得配置hadoop代理等等/etc/hosts里面的问题尤其无语:一定记得要进hadoop-master2-namenode-ubuntu.log查看日志,会发现很多exception。这回是非常恶心的问题,装oozie的时候原创 2017-04-21 10:54:03 · 9912 阅读 · 0 评论 -
OOZIE系统遇到的各种问题解决2:to…
遇到问题说oozie里面的配置文件需要重设重设后还得打包war传到tomcat里面然后尝试关闭oozie报错:PID file found but no matchingprocess was found. Stop aborted.运用网上的方法(把$OOZIE_HOME/oozie-server/temp/oozie.pid文件删除)后再次关闭oozie报错:$CATALINA原创 2017-04-21 10:54:07 · 7709 阅读 · 3 评论 -
OOZIE系统遇到的各种问题解决3:cl…
安装cloudera期间可能出现的问题:【问题】cloudera无法免密码执行sudo命令【解决】给aboutyun用户设置无密码sudo权限: chmod u+w /etc/sudoers (修改sudoers配置文件的访问权限,使得我们可以改它) vi /etc/sudoers (使用vi编辑器修改sudoers文件) aboutyun ALL=(原创 2017-04-21 10:54:12 · 2116 阅读 · 0 评论 -
OOZIE系统成功在hadoop-2.7.3版本…
先上图: 可以发现oozie和yarn与jobhistory里面的东西是一一对应的。 这玩意整起来真是够呛,首先编译安装就会遇到一大堆问题。之前网上看到有推荐将maven转换为中国源可以加速依赖包的下载,结果实验发现这个中国的源居然是无法访问的……Orz只能老实从美国源龟速下载啦……Orz囧。之后又得在hadoop和oozie里面两头跑来回配置,简直要崩溃。被ubuntu系统该死的12原创 2017-04-21 10:54:15 · 3131 阅读 · 2 评论 -
虚拟机Hadoop实战(二)详细步骤
装Hadoop是个稍微复杂些的过程,加上Hadoop出于安全性的考虑,使用了SSH认证,更是一个比一般软件繁琐的事情。Hadoop基于Java,使用前得安装Java虚拟机。而Hadoop本身并不知道系统配置的Java虚拟机在哪儿,即使在etc/profile文件中设置了Java的环境变量,也需要在Hadoop自身的配置文件hadoop-env.sh(或者说shell程序里面)重新配置一遍。原创 2017-04-21 10:53:48 · 1587 阅读 · 0 评论 -
虚拟机Hadoop实战(一)概念总览
系统太大,大到完全没有头绪,大到网上一堆培训班。 硬骨头还是要啃,之前一直怕自己电脑跑这么多虚拟机跑不下,要不要买几台廉价电脑拼一起呢?……实际上完全是多余的,你永远不知道你电脑有多块。(实际虚拟机安装linux是能慢出翔的,估计得换固态硬盘了) 而且,Hadoop官网上本来就提供了单机、伪多机、真多机的模式供你训练。实际上还是没迈开步子干的缘故,不禁后悔起当初非常傻逼的面试回答“Ha原创 2017-04-21 10:53:45 · 301 阅读 · 0 评论 -
高性能、大数据、分布式运算概念入…
大数据的概念太大太宽泛了,感觉跟物联网有些类似。谁都可以说自己是做大数据的,谁都觉得自己是在做物联网。本着务实的心态,还得看看本质。个人感觉如果单纯用着工具,无论是什么,都不能认为自己技术NB了。过几年这个技术不火了,还是得面对就业和学习压力。就目前几个比较火的前沿技术而言首先,何为大数据? 可我的数据超过了5TB!你的命可真苦——只能苦逼地折腾Hadoop了。(所以折腾Hadoop是需要相原创 2017-04-21 10:53:39 · 6681 阅读 · 0 评论 -
java.lang.NoSuchMethodError:&nbs…
java.lang.NoSuchMethodError:[Ljavax/persistence/Index;网上说删除ejb3包就解决了。其实这个问题并不奇怪:javax.persistence.Table.indexes()[Ljavax/persistence/Index;" TITLE="java.lang.NoSuchMethodError: javax.persistence.原创 2017-04-21 10:52:57 · 219 阅读 · 0 评论 -
@Repository、@Service、@Controll…
这里简要列些摘要供查询:spring 自 2.0 版本开始,陆续引入了一些注解用于简化 Spring的开发。如此,我们就不再需要在 XML 中显式使用 进行Bean 的配置。Spring在容器初始化时将自动扫描 base-package 指定的包及其子包下的所有 class文件,所有标注了 @Repository的类都将被注册为 Spring Bean。为什么 @Reposit原创 2017-04-21 10:53:01 · 484 阅读 · 0 评论 -
Netbeans许可证,是否能商用,是否…
FaqSellContributedModulesCan my contribution to NetBeans.org beincluded in a commercial product?Yes - anyorganization or individual can do this.However, any testing, bug reports or patche原创 2017-04-21 10:53:03 · 479 阅读 · 0 评论 -
Setting property &#039…
十二月 16, 2016 10:53:36 上午org.apache.catalina.startup.SetContextPropertiesRulebegin警告:[SetContextPropertiesRule]{Context} Setting property'antiJARLocking' to 'true' did not find a matchingproperty原创 2017-04-21 10:53:06 · 779 阅读 · 0 评论 -
一阶段实验性稳定JavaEE系统(包的…
目前经过一系列折腾,决定将配置工作告一段落,专心实现其他功能上面。感觉目前的水平这么配置,还不会达到性能问题的地步。能达到性能问题说明网站做得也够NB了。所以先开始专心做内容吧。Netbeans自带的包:Spring Framework4.0.1Hibernate 4.3.x自己添加的Jar包:hibernate-jpa-2.1-api-1.0.0.Final.jaraopalli原创 2017-04-21 10:53:09 · 271 阅读 · 0 评论 -
SSH中操作Hibernate的事务与删除数…
我们大体了解,Spring框架是为了方便我们编程的。尤其是一些特别麻烦的初始化和结束过程。 啥叫麻烦的初始化和结束过程? 例如:之前写的单独使用Hibernate不含SSH中SS的帖子里 1、先用configure()载入配置xml文件 2、再获取StandardServiceRegistryBuilder类 3、然后获取ServiceRegistry 4、原创 2017-04-21 10:53:12 · 2162 阅读 · 0 评论 -
Netbeans IDE中连接数据库,自动生…
既然数据库一般是由数据库设计师先导设计的,那么重复写xxxxx.hbm.xml这类文件就很多余。既然数据库里面已经有表了,为什么不用一系列sql语句获取其表头和类型,并自动生成hibernate所需的xml和POJO类呢?问题的答案是显然的。NetbeansIDE给我们提供了hibernate逆向工程这一方便的方法。 如图,在一个新建的Java应用程序项目里,我们先创建一个hibernat原创 2017-04-21 10:53:15 · 2135 阅读 · 0 评论 -
软件开发中的分工协作思考与VO、PO…
由此想起了本科时代学习软件工程时的一个小组大作业。9人做一个论文管理系统,安排了一个同学写界面,然后我把他界面传来的数据做处理。然后问题的关键来了:我们怎么合作? 显然我们要规定好什么数据是在界面和我写的逻辑处理类中传输的。比如我需要维护一个用户信息,有姓名、年龄、性别、工作、电话等等,那么我可以跟他规定,他的界面就做这么几个输入框,然后加个确认按钮,确认完后调用我写好的业务逻辑方法。然后我原创 2017-04-21 10:53:18 · 4475 阅读 · 1 评论 -
java自己造 编程IDE【2】,消…
在jEditorPane编辑,有时候要把一些命令转给其他控件。IDE中最重要的功能之一就是能够“按·上下键”选择备选函数,或者备选的自动补完策略。这点上,一直有个矛盾: 之前的思路,是在编辑器里监视按键event,然后直接操作另一个控件的focus点……但这样总觉得怪怪的。有时候操作不上,有时候操作上了,直接focus过去了,消息无法回到jEditorPane。之后又绕着弯子,在jlist上原创 2017-04-21 10:54:18 · 229 阅读 · 0 评论 -
java自己造 编程IDE【3】,对…
效果图:编程IDE【3】,对Document直接处理" TITLE="java自己造 编程IDE【3】,对Document直接处理" />可以看到,终于达到了当时设想的预期,能够真正超越边界的代码提示。当然,目前仅仅用了国家代号作为代码库。基本的判断也是很简单的,就是查看光标前到空格处的文字,是否能在代码库里面搜索到相应的内容。编程IDE【3】,对Document直接处理" TITL原创 2017-04-21 10:54:21 · 240 阅读 · 0 评论 -
OOZIE系统成功【2】跑通定时调度的…
【要点】OOZIE跑spark程序会遇到这么一个奇葩的现象:在oozie查job的info,显示SUCCEEDED。去8088端口的yarn那儿查,也显示SUCCEEDED。然后进hdfs看看生成的结果——啥文件都没有。这是什么情况!【原因】编写workflow.xml文件的时候,生成目的地的地址,一定要在最后加斜杠。如果输出结果要放到 /usr/oozie/output中的spark文件夹里原创 2017-04-21 10:54:33 · 2546 阅读 · 0 评论 -
【概述】Hadoop、Yarn、Spark基本…
网上说得纷飞复杂的,其实要想简单用起来,Hadoop、Yarn、Spark的基本构架都很简单,如下图所示,都是一个总分的结构: 最初大数据的发明,就是为了解决一台机子做不了事情的问题。比如你一台机子硬盘大概2TB大小,但是我一个数据文件就有10TB大……那确实没办法。有人说,不是可以像数据库那样分开不同的库存储吗?但随着信息时代的发展,还真就有单个文件这么大的东西了。那只能把几个机子合并原创 2017-04-21 10:55:17 · 434 阅读 · 0 评论 -
OOZIE使用Email提醒详解
下班不在公司,让大数据任务在跑着。到底跑完没有呢?我总不能老主动去公司登录来看吧?是不是该有个任务提醒机制?是的,这就是OOZIE的EMAILaction功能。 【原理】OOZIE并不是自己拥有个邮件服务器,而是得借助远程的邮箱账户来发送邮件。这里我们假设注册了一个test@163.com的邮箱,使用163的smtp服务器(地址是smtp.163.com)。理论上根据目前OOZIE的原理,只原创 2017-04-21 10:55:20 · 8642 阅读 · 0 评论 -
Spark在Windows下运行,本地提交sp…
【问题】Spark在windows能跑集群模式吗?我认为是可以的,但是需要详细了解cmd命令行的写法。目前win下跑spark的单机模式是没有问题的。【关键点】spark启动机制容易被windows的命令行cmd坑 1、带空格、奇怪字符的安装路径,cmd不能识别。最典型的坑就是安装在ProgramFiles文件夹下的程序,因为Program和Files之间有个空格,所以cmd竟不能识别原创 2017-04-21 10:55:24 · 4219 阅读 · 0 评论 -
【解答】Spark从hadoop取数是分布…
Hadoop上的文件是集中到master再交给Spark进行计算的吗?Spark如何获取数据资源,集中从namenode获取?还是从各个datanode分别获取呢?初学Spark的时候都有疑惑,Spark本身的确可以搭建分布式运算集群,由主机分发计算任务到各个slaves进行计算。但是计算任务由数据和算法组成,在处理大量数据的时候,是怎么进行操作的呢?需要自己主动编程实现吗?还是说配置好Ha原创 2017-04-21 10:55:29 · 871 阅读 · 0 评论 -
如何写个让别人能用lambda往里塞的…
最近函数式编程很火,大家都开始各种用lambda表达式。我们如何让别人也在我们自己写的类里面用lambda表达式呢?换句话说,我们要造一个输入lambda表达式的成员函数,或者静态函数,怎么办?其实仔细分析,大多数调用lambda表达式,都是基于原来的固定接口Function、Predicate和Comsumer(如foreach接口),那么我们相应调用就好。import java原创 2017-04-21 10:55:32 · 377 阅读 · 0 评论 -
【Fortran IVF】unresolved&n…
配置好IVF(Intel VisualFortran)的时候,发现无法编译,于是查找原因1>------ Buildstarted: Project:HelloIVFpi, Configuration:Release x64 ------1>Linking...1>paralism.obj :error LNK2019: unresolved external symbo原创 2017-04-21 10:55:41 · 995 阅读 · 0 评论 -
JTextPane实现文字图片插入、发送
其实不需要JEditorPane,Java提供的JTextPane本身就可以实现文字、图片同时插入,并发送。这里界面设计与功能实现分成2个文件来写。界面是用Netbeans画的,里面有2个JTextPane和2个JButton,文件为ImageTextPaneForm.java。功能实现的类为ImageTextPaneController.java:ImageTextPaneControlle原创 2017-04-21 10:55:43 · 3411 阅读 · 0 评论 -
springboot + spark + hadoop
可以在一个Controller里面实现spark抓取的代码: import org.apache.spark.sql.Dataset;import org.apache.spark.sql.Row;import org.springframework.web.bind.annotation.RequestMapping;import org.springframework.web....原创 2018-01-23 10:51:31 · 7329 阅读 · 1 评论 -
【解决】WARN YarnClusterSch…
参考办法http://blog.sina.com.cn/s/blog_4b1452dd0102wyzo.html解决解决 WARN YarnClusterScheduler: Initial job has not accepted anyresources; check your cluster UI to ensure that workers areregistered and ha原创 2017-04-21 10:55:14 · 1132 阅读 · 0 评论 -
WARN YarnClusterScheduler: not a…
解决了pyspark找不到"python"的问题以后:【新问题】查看目标节点8042端口web ui中applicationlist里面的container的logs,发现无法分配资源的老问题:17/02/26 22:33:11 WARNYarnClusterScheduler: Initial job has not accepted any resources;check your原创 2017-04-21 10:55:11 · 710 阅读 · 0 评论 -
yarn上报错Cannot run program "python": error=2, No such file or dictory…
配置好yarn《【解决】处于ACCEPTED状态不running,Oozie提交pyspark任务后》,并解决宕机问题《运行yarn宕机(pyspark任务,通过Oozie提交)》后,出现新的问题:java.io.IOException: Cannot runprogram "python": error=2, No such file or directoryatjava.lang.Proc...原创 2017-04-21 10:55:08 · 9467 阅读 · 1 评论 -
Oozie 4.3.0运行Error: …
fs://master2host:9000/user/master2/share/lib/spark/py4j-0.9.jar,hdfs://master2host:9000/user/master2/share/lib/spark/avro-ipc-1.7.7-tests.jar,hdfs://master2host:9000/user/master2/share/lib/spark/quasi原创 2017-04-21 10:54:36 · 892 阅读 · 0 评论 -
【解决】处于ACCEPTED状态不runnin…
Oozie提交pyspark任务后yarn 8088一直处于ACCEPTED状态不运行running这个问题困扰了我一个周末……一个周末……(然后其实后面又困扰了一周)而且重启注销,不懂是不是因为ubuntu kylin不稳定【结果】是因为单集群的问题,导致yarn一次只能运行一个job。在服务器上跑就没有事儿,在自己的虚拟机上跑就不行,因为没配备多个虚拟机。——————【你以为是这样就大原创 2017-04-21 10:54:48 · 20192 阅读 · 2 评论 -
Junit测试比较Date的时候明明相等…
使用系统的Calendar.getInstance()方法获取Date的时候是带有系统毫秒数的,如果不进行设置,就会悲剧。通过用getTime()方法打印精确到毫秒的long参数,对比发现果然是毫秒部分差异的问题。可以添加cal.set(Calendar.MILLISECOND, 0)来设置毫秒清零。原创 2017-04-21 10:54:51 · 1268 阅读 · 0 评论 -
【终极解决】Java gateway&nb…
"D:\Program files\Anaconda2\python.exe"C:/Users/PycharmProjects/helloworld/spark1.py SPARK_HOME not inos.environ SPARK_JARS_DIR already set== D:\!spark-1.6.2\jars "setPYTHONHASHSEED=0" "run spark-c原创 2017-04-21 10:54:53 · 6093 阅读 · 2 评论 -
解决hadoop@ubuntu:~$老以ubuntu作…
许多人抱怨ubuntu系统,大概就是一些讨厌的预设配置,比如说hostname。最近做hadoop虚拟机集群,配完ssh密钥以后,发现互相登录——诶?怎么大家都叫做xxx@ubuntu?卧槽……这怎么整……Orz 这样不行啊。记得老早刚学习hadoop的时候就被这个ubuntu的hostname困扰不已,之前配成功了估计还是靠着运气。而这运气也并不是完全行得通,会出现启动hadoop要把/e原创 2017-04-21 10:54:56 · 802 阅读 · 0 评论 -
[win下pycharm运行spark]IOExcepti…
最近一直在钻研IDE直连spark的问题。用vmware建了3个虚拟机,来跑spark集群。安装的python版本是anaconda2的python2在使用pycharm编写pyspark程序连接虚拟机的时候,出现了这样的问题:17/02/23 16:58:52 WARNTaskSetManager: Lost task 1.0 in stage 0.0 (TID 1, hadoop)原创 2017-04-21 10:54:59 · 832 阅读 · 0 评论