随记
星之擎
且行且珍惜
展开
-
kettle 定时异常
1、作业里面有设定时,然后定时重复叠加2、有新实例但没有忽略,以致于实例不能生成3、没有设置重复执行4、任务在准备状态没有进入执行状态5、如果有执行bat方式定时,可以看监控日志报错...原创 2020-06-10 10:18:15 · 968 阅读 · 0 评论 -
sql 交叉查询
日常开发中遇到多表查询时,首先会想到 INNER JOIN 或 LEFT OUTER JOIN 等等,但是这两种查询有时候不能满足需求。比如,左表一条关联右表多条记录时,我需要控制右表的某一条或多条记录跟左表匹配。貌似,INNER JOIN 或 LEFT OUTER JOIN 不能很好完成。但是 CROSS APPLY 与 OUTER APPLY 可以,下面用示例说明。示例一 有...原创 2019-12-26 17:32:17 · 2579 阅读 · 0 评论 -
常用快捷键
Ctrl+c复制Ctrl+v粘贴Ctrl+x剪切Ctrl+a全选Ctrl+s保存Ctrl+z撤销一步Windows+d返回桌面Windows+e我的电脑Windows+r打开运行Alt+tab切换软件Ctrl+tab软件文档之间的切换F2重命名F5刷新页面...转载 2018-04-22 10:38:11 · 170 阅读 · 0 评论 -
scala与for循环的故事
1、原始var a = 0; // for loop execution with a range for( a 1 until 10){ println( "Value of a: " + a ); }2、小学1年级var a = 0; var b = 0; //翻译 2018-01-23 16:04:46 · 219 阅读 · 0 评论 -
could only be replicated to 0 nodes, instead of 1
[xi@master Desktop]$ hadoop dfs -put 3.txt input17/03/23 21:21:37 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/xi/input/3.txt c原创 2018-01-21 21:01:19 · 288 阅读 · 0 评论 -
C#验证码
窗体中,需要自己增加的控件:一个picturebox控件pbVerifyCode,一个按钮butUpdateVerifyCode(看不清楚,换一张图);其它代码可复制使用。 public partial class FrmLogin : Form { //随机码的长度 private const int iVerify转载 2018-01-21 20:59:35 · 368 阅读 · 0 评论 -
计算机期刊
一、计算机科学期刊介绍计算机科学的publication最大特点在于:极度重视会议,而期刊则通常只用来做re-publication。大部分期刊文章都是会议论文的扩展版,首发就在期刊上的相对较少。也正因为如此,计算机期刊的影响因子都低到惊人的程度,顶级刊物往往也只有1到2左右----被引的通常都是会议版论文,而不是很久以后才出版的期刊版。因此,要讨论计算机科学的publication,首先必须转载 2017-05-12 20:21:53 · 573 阅读 · 0 评论 -
计算机类中文核心期刊简介
[1] 软件学报 (月刊), EI、ISTIC收录主办单位:中国计算机学会, 中国科学院软件研究所地址:北京8718信箱 北京海淀区中关村《软件学报》编辑委员会 邮编100080 邮发代号:82-367, E-mail:jos@iscas.ac.cnhttp://www.jos.org.cn [2] 计算机学报 (月刊) EI转载 2017-05-11 23:24:31 · 31621 阅读 · 2 评论 -
Android实现界面的自动跳转
Android实现欢迎界面的自动跳转,就是打开某一个安卓手机应用,出现的欢迎界面停留几秒钟,自动进入应用程序的主界面。在网上看到很多种实现办法,但是感觉这种方法还是比较简单的。在onCreate里设置个Timer,然后建立Intent指向你要调用Activity。设置Timer 10妙后执行startActivity就行了。示例代码:protected void onCr...转载 2019-05-30 08:43:37 · 2266 阅读 · 0 评论 -
android studio 华为手机真机测试
手机的开发人员选项打开, USB 调试打开 在拨号界面输入:*#*#2846579#*#*进入测试菜单界面,然后 Project Menu → 后台设置 → LOG设置 LOG 开关 → LOG 打开 LOG 级别设置 → VERBOSE Dump&Log → 全部选中 重启手机,重启 Android Studio。 ...转载 2019-05-31 17:09:05 · 4539 阅读 · 0 评论 -
如何创建和发布.asmx Web Service
创建和发布Web ServiceWeb服务方法中可以返回一个DataSet对象WEB服务可以说是下一代WEB应用程序的基础,无论客户端是WINDOWS应用、ASP.NET Web Form程序、甚至其他语言的客户端,都可以与同一个WEB服务通信,其平台和语言无关性使其有了广阔的发展空间。利用VS2005和IIS我们可以很容易地发布一个WEB SERVICE环境:Win...转载 2019-06-06 10:45:28 · 2334 阅读 · 0 评论 -
测试窗体只能用于来自本地计算机的请求
提示信息:测试窗体只能用于来自本地计算机的请求。解决办法:在<system.web></system.web>之间加入以下标签<webServices> <protocols> <add name="HttpSoap"/> <add name="HttpPos...转载 2019-06-19 15:12:32 · 878 阅读 · 0 评论 -
Android:实现下拉列表 Spinner
https://www.cnblogs.com/tinyphp/p/3858920.html在Web开发中,HTML提供了下拉列表的实现,就是使用<select>元素实现一个下拉列表,在其中每个下拉列表项使用<option>表示即可。这是在Web开发中一个必不可少的交互性组件,而在Android中的对应实现就是Spinner。方法一:以资源方式,静态展示 Spi...转载 2019-06-05 08:25:11 · 20610 阅读 · 1 评论 -
java-if-字符串判断
1、java中字符串的比较是==比较引用,equals 比较值so我们经常习惯性的写上if(str1==str2),这种写法在java中可能会带来问题example1: String a="abc";String b="abc",那么a==b将返回true。因为在java中字符串的值是不可改变的,相同的字符串在内存中只会存一份,所以a和b指向的是同一个对象;examp...转载 2019-06-21 11:37:36 · 17311 阅读 · 3 评论 -
c#多层嵌套Json
1、类+list:public class OrderInfo { /// <summary> /// 桌台状态表 /// </summary> [DataMember] public string bi_deskroom_status { get; set; }...原创 2019-10-08 10:31:34 · 1687 阅读 · 0 评论 -
centos linux防火墙的关闭
一、关闭防火墙1、重启后永久性生效:开启:chkconfig iptables on关闭:chkconfig iptables off2、即时生效,重启后失效:开启:service iptables start关闭:service iptables stop在开启了防火墙时,做如下设置,开启相关端口,修改 /etc/sysconfig转载 2017-03-26 21:46:42 · 461 阅读 · 0 评论 -
centos6.3 桌面模式与命令行模式的自定义
1、桌面模式 编辑/etc/inittab文件,修改启级别为52、命令行模式 编辑/etc/inittab文件,修改启级别为3原创 2017-03-26 19:30:52 · 361 阅读 · 0 评论 -
设置linux工具支持中文:
设置linux工具支持中文:一、设置/etc/sysconfig/i18n文件(一)LANG="en_US.UTF-8"SUPPORTED="zh_CN.GB18030:zh__CN:zh:en_US.UTF-8:en_US:en"SYSFONT="latarcyrheb-sun16"(二)LANG="zh_CN.GB18030"SUPPORTED="zh_CN.G原创 2016-05-01 03:01:47 · 616 阅读 · 0 评论 -
不用scala运行wordcount
一、启动hadoop和spark二、上传文档到hdfs三、bin目录下run-exampleUsage: ./bin/run-example [example-args]原创 2016-05-01 21:49:07 · 381 阅读 · 0 评论 -
虚拟机网络不通:
(1)打开任务管理,启动服务,把虚拟机的各项服务启动。(2)右击虚拟机头,点击设置,点击网络适配器,然后设置网络链接原创 2016-07-10 08:56:30 · 786 阅读 · 0 评论 -
查看自己linux系统的版本:
[sp@localhost Desktop]$ cat /proc/versionLinux version 2.6.32-279.el6.i686 (mockbuild@c6b9.bsys.dev.centos.org) (gcc version 4.4.6 20120305 (Red Hat 4.4.6-4) (GCC) ) #1 SMP Fri Jun 22 10:59:55 UTC 2原创 2016-07-08 22:54:27 · 1050 阅读 · 0 评论 -
spark入门常识:
spark入门常识:1、单机部署学习为了真实集群的实战2、部署环境大部分在linux下,shell功能操作方便3、一般本地虚拟机,云服务器4、linux发行版,比较流行ubuntu,下载地址:http://www.ubuntu.com/download/,选择shell操作的Ubuntu server版本5、常见的虚拟机有:vmware workstation(功能强大但收费)原创 2016-07-09 09:22:04 · 672 阅读 · 0 评论 -
【Linux】正确的关机方法
1)shutdown命令 我们较常使用的是shutdown这个命令,这个命令可以安全地关闭或重启Linux系统,它在系统关闭之前给系统上的所有登录用户提示一条警告信息。该命令还允许用户指定一个时间参数,可以是一个精确的时间,也可以是从现在开始的一个时间段。精确时间的格式是hh:mm,表示小时和分钟,时间段由+ 和分钟数表示。系统执行该命令后会自动进行数据同步的工作。需要特别说明的是该命令只能转载 2016-09-15 10:51:00 · 7544 阅读 · 0 评论 -
Linux常用命令
关键字: linux 查进程、杀进程、起进程1.查进程 ps命令查找与进程相关的PID号: ps a 显示现行终端机下的所有程序,包括其他用户的程序。 ps -A 显示所有程序。 ps c 列出程序时,显示每个程序真正的指令名称,而不包含路径,参数或常驻服务的标示。 ps -e 此参数的效果和指定"A"参数相同。 ps e 列出程序时转载 2016-11-29 21:29:16 · 295 阅读 · 0 评论 -
纯代码视角看分布式运算(上(wordcount)
一、wordcount: 1、WordCountMap String line = value.toString(); StringTokenizer token = new StringTokenizer(line); while (token.hasMoreTokens())原创 2017-02-12 13:37:49 · 486 阅读 · 0 评论 -
mapPartitions
rdd的mapPartitions是map的一个变种,它们都可进行分区的并行处理。 两者的主要区别是调用的粒度不一样:map的输入变换函数是应用于RDD中每个元素,而mapPartitions的输入函数是应用于每个分区。 假设一个rdd有10个元素,分成3个分区。如果使用map方法,map中的输入函数会被调用10次;而使用mapPartitions方法的话,其输入函数会只会被调转载 2017-02-21 21:08:59 · 6720 阅读 · 0 评论 -
Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost:9000/user/
根源是: FileSystem fs = FileSystem.get(conf); fs.delete(new Path(args[2]),true); //删除输出路径继续循环 FileInputFormat.addInputPath(job, new Path(原创 2017-02-22 22:22:15 · 1682 阅读 · 0 评论 -
Scala reduceLeft
scala> val a = Array(20, 12, 6, 15, 2, 9)a: Array[Int] = Array(20, 12, 6, 15, 2, 9)1、a simple function:scala> a.reduceLeft(_ + _)res0: Int = 64scala> a.reduceLeft(_ * _)res1: Int = 388800sc翻译 2017-03-22 20:53:44 · 833 阅读 · 0 评论 -
rdd数据类型的探索
RDD算子分类,大致可以分为两类,即:1. Transformation:转换算子,这类转换并不触发提交作业,完成作业中间过程处理。2. Action:行动算子,这类算子会触发SparkContext提交Job作业。 一:Transformation:转换算子1. map: 将原来RDD的每个数据项通过map中的用户自定义函数f映射转变为一个新的元素。源码中ma转载 2017-03-14 17:17:23 · 3125 阅读 · 0 评论 -
spark式workcount虾皮
val conf = new SparkConf ().setMaster ("local").setAppName ("app_1") val sc = new SparkContext (conf) val people = List(("男", "李四"), ("男", "张三"), ("女", "韩梅梅"), ("女", "李思思"), ("男", "马云"))翻译 2017-03-14 18:58:30 · 526 阅读 · 0 评论 -
RDD怎么找下标,怎么创建数组?
1、RDD是Spark中的抽象数据结构类型,任何数据在Spark中都被表示为RDD。2、从编程的角度来看,RDD可以简单看成是一个数组。和普通数组的区别是,RDD中的数据是分区存储的,这样不同分区的数据就可以分布在不同的机器上,同时可以被并行处理。3、因此,Spark应用程序所做的无非是把需要处理的数据转换为RDD,然后对RDD进行一系列的变换和操作从而得到结果。所以接下来的问题就是原创 2017-03-14 21:19:51 · 2921 阅读 · 0 评论 -
spark的RDD操作对key值操作的探索
Spark中有许多中创建键值对RDD的方式,其中包括读取时直接返回键值对RDD普通RDD转换成键值对RDD1、在Scala中,可通过Map函数生成二元组val listRDD = sc.parallelize(List(1,2,3,4,5))val result = listRDD.map(x => (x,1))result.foreach(println)2、原创 2017-03-14 21:24:11 · 5965 阅读 · 0 评论 -
RDD随机元素
sample : 采样采样变换根据给定的随机种子,从RDD中随机地按指定比例选一部分记录,创建新的RDD。采样变换 在机器学习中可用于进行交叉验证。def sample(withReplacement: Boolean, fraction: Double, seed: Long = Utils.random.nextLong): RDD[T]withReplacemen原创 2017-03-14 21:58:33 · 1054 阅读 · 0 评论 -
刚配置完hadoop文本
因为hadoop的配置上进行了一些修改(core,hdfs,mapred,-site.xml),刚配置完hadoop文本后一、[root@hadoop Desktop]# jps10111 SecondaryNameNode7811 TaskTracker9900 NameNode10007 DataNode10190 JobTracker10302 Jps二、原创 2016-04-29 22:37:31 · 379 阅读 · 0 评论