2017年09月_Gpwner

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 spark<SecurityException: Invalid signature file digest for Manifest main attributes>

driver打包程Jar包提交到集群上之后抛了以下异常：Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes at sun.security.util.SignatureFileVerifier.processImp

2017-09-18 09:58:23 1973

原创 spark<CommunicationsException: Communications link failure>

driver在本地跑的好好的，打包提交打spark集群中却抛了以下异常：Exception in thread "main" com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failureThe last packet sent successfully to the server was 0

2017-09-18 09:49:49 2224

原创 spark<log4j配置控制台日志级别输出>

如果想要输出INFO级别以上的日志做如下配置,在src/main/resources/下新建一个log4j.properties文件，文件中的内容如下：# Set everything to be logged to the consolelog4j.rootCategory=INFO,consolelog4j.appender.console=org.apache.log4j.ConsoleA

2017-09-18 09:39:54 1131

原创 spark<Dataframe 直接写入hive表>

import org.apache.spark.rdd.RDDimport org.apache.spark.sql.hive.HiveContextimport org.apache.spark.sql.{DataFrame, SQLContext, SaveMode}import org.apache.spark.{SparkConf, SparkContext}object Main {

2017-09-15 14:35:47 7006

原创 spark<java.nio.channels.ClosedChannelException>

因为在提交spark任务的时候没有指定节点的内存的大小，采用了默认的配置导致发生了一下的异常： (106 + 45) / 200]17/09/15 10:04:46 ERROR client.TransportClient: Failed to send RPC 7807032932563004737 to dn129.avcdata.com/192.168.20.129:40006: java

2017-09-15 10:20:51 4059

原创 spark<java.io.NotSerializableException>

我新定义了一个类（tools.UCleaner），放到Spark中做数据清洗的时候，跑了一个任务未序列化的异常Exception in thread "main" org.apache.spark.SparkException: Task not serializable at org.apache.spark.util.ClosureCleaner$.ensureSerializable(

2017-09-13 11:56:32 2758

原创 python<win10下使用定时任务执行爬虫程序>

公司有一个需求，每天定时执行一次爬虫以便得到目标数据。一下是定时任务的配置过程以及一个大坑（花费了我两个小时）。1.打开任务计划程序2.创建基本任务3.填写触发器出发时间4.定义定时任务的操作为“启动程序”5.选择启动程序选择你的脚本这里有一个大坑别看“起始于”那个参数是可选的，如果不填的话就会报0x2的错误，导致定时任务执行失败：第一个填写你的脚本的绝对路径+脚本名称，第二

2017-09-07 15:23:58 6655

原创算法<Array Partition I>

这个题目的要求是给定一个数组，有2N个元素，将其划分为N对（每一对有两个元素），使得每一对中的最小的元素相加的总和最大，例如：有一个数组： s=a1+b1+a2+b2+a3+b(3)+…+an+bn;我们的目标是将数组划分诸如： (a1,b1),(a2,b2),(a3,b3),….(an,bn) 然后求： Sm = min(a1, b1) + min(a2, b2) + … + min(an

2017-09-03 19:16:13 437

原创算法<删除一个数组中为0的元素>

题目要求：给一个一维数组，将其中为0的元素删除掉，非零元素的相对位置保持不变，最终目标数组保留在原数组，目标长度之外的元素全部置为0。Given an array nums, write a function to move all 0's to the end of it while maintaining the relative order of the non-zero elements.F

2017-09-03 15:27:14 2104

原创算法<Maximum Product Subarray>

题目的要求是求一个一维数组中子串的最大乘积，比如：Find the contiguous subarray within an array (containing at least one number) which has the largest product.For example, given the array [2,3,-2,4],the contiguous subarray [2,

2017-09-03 11:13:15 416

原创算法<Best Time to Buy and Sell Stock>

算法的题目是这样的：有一个一维数组，数组的下标表示日期，下标对应的元素为该日股票的价格，请设计一个算法来求出股票买入和卖出的最大收益。Example 1:Input: [7, 1, 5, 3, 6, 4]Output: 5max. difference = 6-1 = 5 (not 7-1 = 6, as selling price needs to be larger than buying

2017-09-02 22:33:46 462