- 博客(37)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Java程序打包成exe
背景：最近一位当老师的老朋友叫我给她写做一个点名小程序，程序非常容易实现，但是从来没有打过.exe应用，网上搜了一下，有好几个工具能打包，仔细对比了下，最后选用shuizhongyueliangya写的方法试试。很成功的打好包，并能使用，期间有个系统不兼容的插曲，最后替换成32位，既能在32位系统上运行，也能在64位系统上运行。一定要选用创建的jre目录环境进行打包，因为非开发人员电脑上是不会装有...
2018-09-02 13:43:46
31776
1
原创 windows系统命令开启wifi
环境：win7系统，自带无线网卡笔记本电脑win+R cmd1、设置名称 密码netsh wlan set hostednetwork mode=allow ssid=****** key=******。******是wifi名和密码2、开启wifinetsh wlan start hostednetwork3、打开网络和共享中心，设置网络共享。当设置到第2步时，会发现多了一个“无线网络连接2”，...
2018-04-27 18:29:18
1222
转载 sparkstreaming整合kafka参数设置，message偏移量写入redis
本文转自：https://blog.csdn.net/qq_28666339/article/details/79261196kafka高级数据源拉取到spark，偏移量自我维护写入到redis,建立redis连接池。需要导入<groupId>org.apache.spark</groupId><artifactId>spark-streaming-kafka-...
2018-03-28 17:16:10
1353
转载 sparkstreaming整合kafka参数设置，message偏移量写入mysql
本文转自：https://blog.csdn.net/qq_28666339/article/details/79261100自由幻想的人儿 kafka高级数据源拉取到spark，偏移量自我维护，借助scalikejdbc写入到mysql。需要导入<dependency><groupId>org.scalikejdbc</groupId><artifac...
2018-03-28 17:09:57
1534
原创 使用累加器配合广播变量做码表动态更新
广播变量简单介绍广播变量是允许程序员缓存一个只读的变量在每个节点上，而不是每个任务保存一份拷贝。例如，利用广播变量，我们能够将配置、较小数据量的码表分发到每个节点上，以减少通信的成本。 一个广播变量可以通过调用SparkContext.broadcast(v)方法从一个初始变量v中创建。广播变量是v的一个包装变量，它的值可以通过value方法访问，下面的代码说明了这个过程：scala> val b
2017-10-18 13:43:27
882
1
转载 CSDN-markdown编辑器语法——字体、字号与颜色
转自：http://blog.csdn.net/testcs_dn/article/details/45719357/#t0Markdown是一种可以使用普通文本编辑器编写的标记语言，通过类似HTML的标记语法，它可以使普通文本内容具有一定的格式。但是它本身是不支持修改字体、字号与颜色等功能的！ CSDN-markdown编辑器是其衍生版本，扩展了Markdown的功能（如表格、
2017-09-28 15:03:19
275
转载 《Spark 官方文档》Spark配置
转自：http://ifeve.com/spark-config/《Spark 官方文档》Spark配置spark-1.6.0 原文地址Spark配置Spark有以下三种方式修改配置：Spark properties （Spark属性）可以控制绝大多数应用程序参数，而且既可以通过 SparkConf 对象来设置，也可以通过Java系统属性来设
2017-04-19 14:37:29
1159
转载 Apache Spark 内存管理详解
转自：https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-apache-spark-memory-management/index.htmlSpark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程
2017-04-01 17:56:30
396
转载 ArrayList的contains方法的效率果然不高
转自：http://blog.csdn.net/suming000/article/details/53784979之前做的一个项目，数据库抽出了40多万条数据，然后从csv文件抽出了大概也是40多万条数据，进行对比分析 之前代码如下：[java] view plain copy List key
2017-03-23 20:00:13
1021
转载 map containsKey与get方法区别总结
转自：http://www.2cto.com/kf/201209/152823.html前提是：Map可以出现在k与v的映射中，v为null的情况， 所以containsKey出现更加必要Map集合允许值对象为null，并且没有个数限制，所以当get()方法的返回值为null时，可能有两种情况，一种是在集合中没有该键对象，另一种是该键对象没有映射任何值对象，即值对象为null。
2017-03-23 19:57:54
1067
转载 windows下架设SVN服务器并设置开机启动
转自：http://www.cnblogs.com/jinmingjie/archive/2012/06/05/2536995.htmlwindows下架设SVN服务器并设置开机启动1、安装SVN服务器，到http://subversion.apache.org/packages.html上下载windows版的SVN，并安装，在命令行下运行svn命令，如下所以，则
2017-01-04 17:12:46
349
转载 CGI与ECGI组成介绍
转自：http://laroccasolutions.com/cgi-ecgi/CGI and eCGIThe CGI or Cell Global Identification is used in GSM/UMTS standard and it is defined as the concatenation of the MCC (Mobile Country Code),
2016-12-26 17:44:21
10753
转载 PLMN概念与应用
转自：http://www.cnblogs.com/bastard/archive/2013/05/09/3068602.html1 PLMN概念PLMN： PLMN（Public Land Mobile Network，公共陆地移动网络）该网路必须与公众交换电话网（PSTN）互连，形成整个地区或国家规模的通信网。 PLMN = MCC + MNC
2016-12-26 17:39:09
4697
转载 Oracle 正则表达式
转自：http://www.cnblogs.com/gkl0818/archive/2009/02/12/1389521.htmlOracle 正则表达式就是由普通字符（例如字符a到z）以及特殊字符（称为元字符）组成的文字模式。该模式描述在查找文字主体时待匹配的一个或多个字符串。正则表达式作为一个模板，将某个字符模式与所搜索的字符串进行匹配。本文详细地列出了能在正则
2016-12-26 16:55:22
478
转载 Hadoop Kerberos安全机制介绍
转自：http://dongxicheng.org/mapreduce/hadoop-kerberos-introduction/1. 背景在Hadoop1.0.0或者CDH3 版本之前， hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的，值得信赖的。用户与HDFS或者M/R进行交互时并不需要进行验证。导致存在恶意用户伪装成真正的用户或者服务器入侵到hado
2016-12-16 18:37:18
502
转载 Kafka动态增加Topic的副本(Replication)
1. 查看topic的原来的副本分布[hadoop@sdf-nimbus-perf ~]$ le-kafka-topics.sh --describe --topic http_zhixin_line1Topic:http_zhixin_line1 PartitionCount:3 ReplicationFactor:1 Configs: Topic: http_zhixi
2016-11-29 16:09:11
2805
转载 kafka修改topic分区的位置
转自：http://www.cnblogs.com/honeybee/p/5671347.html1. 查看分区topic的分区分布$ le-kafka-topics.sh --describe --topic http_zhixin_line1结果如下：[hadoop@sdf-nimbus-perf project]$ le-kafka-topics.sh --describe
2016-11-29 16:01:03
1209
转载 kafka集群扩容后的topic分区迁移
转自：http://www.cnblogs.com/honeybee/p/5691921.htmlkafka集群扩容后，新的broker上面不会数据进入这些节点，也就是说，这些节点是空闲的；它只有在创建新的topic时才会参与工作。除非将已有的partition迁移到新的服务器上面；所以需要将一些topic的分区迁移到新的broker上。kafka-reassign-parti
2016-11-29 15:50:07
3248
转载 hbase时间戳修改带来的问题总结
转自：https://my.oschina.net/u/2293326/blog/750112 公司业务：数据录入的时候，同一时刻，一条数据的某个字段存在多版本情况。根据资料，hbase 插入数据的时候可以手动设置时间戳，这样把多个版本的时间戳区别开，但是发现hbase数据不能删除。经过分析，这是由于：插入数据时候，人为设定的时间戳大于，删除的时间戳。 当client端系统时间大于
2016-11-19 19:28:06
9120
2
转载 HBase中数据的多版本特性潜在的意外
转自： HBase做为KeyValue结构存储，在存储上是依照RowKey的字典序进行排序，对于很多应用而言这可能远远不够，好在HBase的数据可以存储多个版本，并且版本可以排序，其理论上最大的版本数目Integer.MAX_VALUE，这在一定程度上简化应用端的设计举个例子，假设现在有一个应用，对用户的每次登录信息（如：时间+IP）进行，并要求可以快速获取指定用户的最近登
2016-11-19 19:10:48
484
转载 java对redis的基本操作
转自：http://www.cnblogs.com/edisonfeng/p/3571870.html二、基本功能测试2、主要类 1）功能类package com.redis;import java.util.ArrayList;import java.util.Iterator;import java.util.List;import ja
2016-09-17 22:15:44
230
转载 HBase中的时间维度
转自：http://www.cnblogs.com/JemBai/archive/2012/07/21/2602439.html原文链接：http://outerthought.org/blog/417-ot.htmlHBase是一个类Bigtable系统，按照Google的论文对 Bigtable的定义是“一种稀疏的，分布式的，持久的多为维度的有序Map。这个Ma
2016-09-17 22:11:56
420
转载 hive从查询中获取数据插入到表或动态分区
转自：http://www.crazyant.net/1197.htmlHive的insert语句能够从查询语句中获取数据，并同时将数据Load到目标表中。现在假定有一个已有数据的表staged_employees（雇员信息全量表），所属国家cnty和所属州st是该表的两个属性，我们做个试验将该表中的数据查询出来插入到另一个表employees中。
2016-09-13 19:36:55
3195
原创 spark与codis、kafka 整合
整理一下这几天的劳动成果，方便自己日后使用，可能存在目前没有发现的问题，若有博友发现有问题的请指明~谢谢EngineIntime_Start.scala 类，接收kafka消息package cn.com.bonc.engineimport java.io.FileNotFoundExceptionimport java.util.ArrayListimport j
2016-09-08 10:10:38
1431
转载 Hadoop与Spark常用配置参数总结
转自：http://dongxicheng.org/framework-on-yarn/hadoop-spark-common-parameters/背景MapReduce和Spark对外提供了上百个配置参数，用户可以为作业定制这些参数以更快，更稳定的运行应用程序。本文梳理了最常用的一些MapReduce和Spark配置参数。MapReduce重要配置参数1
2016-09-05 18:34:52
354
原创 scala退出循环体
java里经常会用到continue和break，scala里并没有这俩个语法。但是我们可以用一个类似这样的方法：使用Breaks对象中的break方法：import scala.util.control.Breaks._val top = Array[Int](2, 3, 5,8,5,77,3,88) for(a <- top){ break
2016-08-27 16:59:54
7851
转载 windows下spark开发环境配置
转自 http://www.cnblogs.com/davidwang456/p/5032766.htmlwindows下spark开发环境配置--本篇随笔由同事葛同学提供。windows下spark开发环境配置特注：windows下开发spark不需要在本地安装hadoop，但是需要winutils.exe、hadoop.dll等文件，前提是你已经安装了eclip
2016-08-23 18:38:22
572
转载 Spark配置参数
转自：http://blog.javachen.com/2015/06/07/spark-configuration.html以下是整理的Spark中的一些配置参数，官方文档请参考Spark Configuration。Spark提供三个位置用来配置系统：Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置环境变量：
2016-08-21 20:16:19
520
转载 Spark源码分析(1) 从WordCount示例看Spark延迟计算原理
转自：http://blog.csdn.net/josephguan/article/details/25649239WordCount示例：val file = spark.textFile("hdfs://...")val counts = file.flatMap(line => line.split(" ")) .map(
2016-07-29 18:31:27
494
转载 Java中进制转换
来自：http://jiangzhengjun.iteye.com/blog/506041为了显示一个byte型的单字节十六进制(两位十六进制表示)的编码，请使用：Integer.toHexString((byteVar & 0x000000FF) | 0xFFFFFF00).substring(6) byteVar & 0x000000FF的作用是，如果byt
2016-07-16 18:32:27
458
转载 Spark Streaming使用Kafka保证数据零丢失
Spark Streaming使用Kafka保证数据零丢失来自：https://github.com/jacksu/utils4s/blob/master/spark-knowledge/md/spark_streaming%E4%BD%BF%E7%94%A8kafka%E4%BF%9D%E8%AF%81%E6%95%B0%E6%8D%AE%E9%9B%B6%E4%B8%A2%E5%A4%
2016-07-11 18:49:10
584
原创 关闭有道云笔记广告方法
有道云笔记不知道从何时起客户端就嵌入广告了，每次看见那广告就很不爽，下面是去掉左下角广告的方法。找到有道云笔记的安装路径，*\Youdao\YoudaoNote\theme\build.xml用文本编辑工具打开这个文件，找到‘左下角广告’这几个字，把下面的代码删掉：
2016-07-10 19:24:13
5632
4
原创 hive常见报错：Execution failed with exit status: 3
sql：select '$v_date','$v_prov','ps',cell_cnt,misidn_cnt,imsi_cnt,imei_cnt,total_cnt,A.rantype from (select /*+mapjoin(tb2)*/ 'aa' tt,count(*) cell_cnt,rantype fromsnl_dwd.dwd_d_sa_basic_normal t
2016-07-06 18:02:07
4223
原创 hive参数调优汇总
参考：http://blog.csdn.net/beckham008/article/details/23741151?utm_source=tuicool&utm_medium=referral1.设置合理solt数mapred.tasktracker.map.tasks.maximum 每个tasktracker可同时运行的最大map task数，默认值2。
2016-07-04 10:48:35
18762
转载 scala implicit 隐式转换
分类： scala（7） 目录(?)[+]我们经常在scala 源码里上看到类似implicit这个关键字。一开始不太理解，后来看了看，发现implicit这个隐式转换是支撑scala的易用、容错以及灵活语法的基础。我们经常使用的一些集合方法里面就用到了implicit，比如：[java] view p
2016-06-24 18:48:31
374
msinttypes-r26.zip 下载
2017-11-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人