- 博客(11)
- 资源 (5)
- 收藏
- 关注
原创 spark<SecurityException: Invalid signature file digest for Manifest main attributes>
driver打包程Jar包提交到集群上之后抛了以下异常:Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes at sun.security.util.SignatureFileVerifier.processImp
2017-09-18 09:58:23 2001
原创 spark<CommunicationsException: Communications link failure>
driver在本地跑的好好的,打包提交打spark集群中却抛了以下异常:Exception in thread "main" com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failureThe last packet sent successfully to the server was 0
2017-09-18 09:49:49 2274
原创 spark<log4j配置控制台日志级别输出>
如果想要输出INFO级别以上的日志做如下配置,在src/main/resources/下新建一个log4j.properties文件,文件中的内容如下:# Set everything to be logged to the consolelog4j.rootCategory=INFO,consolelog4j.appender.console=org.apache.log4j.ConsoleA
2017-09-18 09:39:54 1161
原创 spark<Dataframe 直接写入hive表>
import org.apache.spark.rdd.RDDimport org.apache.spark.sql.hive.HiveContextimport org.apache.spark.sql.{DataFrame, SQLContext, SaveMode}import org.apache.spark.{SparkConf, SparkContext}object Main {
2017-09-15 14:35:47 7051
原创 spark<java.nio.channels.ClosedChannelException>
因为在提交spark任务的时候没有指定节点的内存的大小,采用了默认的配置导致发生了一下的异常: (106 + 45) / 200]17/09/15 10:04:46 ERROR client.TransportClient: Failed to send RPC 7807032932563004737 to dn129.avcdata.com/192.168.20.129:40006: java
2017-09-15 10:20:51 4101
原创 spark<java.io.NotSerializableException>
我新定义了一个类(tools.UCleaner),放到Spark中做数据清洗的时候,跑了一个任务未序列化的异常Exception in thread "main" org.apache.spark.SparkException: Task not serializable at org.apache.spark.util.ClosureCleaner$.ensureSerializable(
2017-09-13 11:56:32 2787
原创 python<win10下使用定时任务执行爬虫程序>
公司有一个需求,每天定时执行一次爬虫以便得到目标数据。一下是定时任务的配置过程以及一个大坑(花费了我两个小时)。1.打开任务计划程序2.创建基本任务3.填写触发器出发时间4.定义定时任务的操作为“启动程序”5.选择启动程序 选择你的脚本 这里有一个大坑 别看“起始于”那个参数是可选的,如果不填的话就会报0x2的错误,导致定时任务执行失败: 第一个填写你的脚本的绝对路径+脚本名称, 第二
2017-09-07 15:23:58 6697
原创 算法<Array Partition I>
这个题目的要求是给定一个数组,有2N个元素,将其划分为N对(每一对有两个元素),使得每一对中的最小的元素相加的总和最大,例如:有一个数组: s=a1+b1+a2+b2+a3+b(3)+…+an+bn;我们的目标是将数组划分诸如: (a1,b1),(a2,b2),(a3,b3),….(an,bn) 然后求: Sm = min(a1, b1) + min(a2, b2) + … + min(an
2017-09-03 19:16:13 458
原创 算法<删除一个数组中为0的元素>
题目要求:给一个一维数组,将其中为0的元素删除掉,非零元素的相对位置保持不变,最终目标数组保留在原数组,目标长度之外的元素全部置为0。Given an array nums, write a function to move all 0's to the end of it while maintaining the relative order of the non-zero elements.F
2017-09-03 15:27:14 2130
原创 算法<Maximum Product Subarray>
题目的要求是求一个一维数组中子串的最大乘积,比如:Find the contiguous subarray within an array (containing at least one number) which has the largest product.For example, given the array [2,3,-2,4],the contiguous subarray [2,
2017-09-03 11:13:15 440
原创 算法<Best Time to Buy and Sell Stock>
算法的题目是这样的: 有一个一维数组,数组的下标表示日期,下标对应的元素为该日股票的价格,请设计一个算法来求出股票买入和卖出的最大收益。Example 1:Input: [7, 1, 5, 3, 6, 4]Output: 5max. difference = 6-1 = 5 (not 7-1 = 6, as selling price needs to be larger than buying
2017-09-02 22:33:46 480
Tomcat安装程序
2016-05-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人