gavenyeah-CSDN博客

原创 python 中时间datetime的处理与转换

python中日期类datetime功能比较强大，使用起来很方便，把常用的两种用法总结如下：from datetime import datetimefrom datetime import timedelta# 日期格式转换为字符串NOW = datetime.now()TODAY = NOW.strftime("%Y%m%d")YESTERDAY = (NOW -timedel...

2018-04-25 15:06:26 1821 1

原创 pyspark rdd def partitionBy自定义partitionFunc

def partitionBy(self, numPartitions, partitionFunc=portable_hash): def partitionBy(self, numPartitions, partitionFunc=portable_hash): “”” Return a copy of the RDD partitioned us

2017-12-11 15:10:52 5792 1

转载 Spark与Pandas中DataFrame对比

PandasSpark工作方式单机single machine tool，没有并行机制parallelism不支持Hadoop，处理大量数据有瓶颈分布式并行计算框架，内建并行机制parallelism，所有的数据和操作自动并行分布在各个集群结点上。以处理in-memory数据的方式处理distributed数据。支持Hadoop，能处理大量数据

2017-12-11 11:08:30 754

原创 StructType can not accept object %r in type %s" % (obj, type(obj)))

在将string类型的数据类型转换为spark rdd时，一直报这个错，...s = str(tree)y = str(YESTERDAY)list0 = [s, y]outRes = self.sc.parallelize(list0)df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp").

2017-11-27 22:09:47 3953

原创最新版spark-2.2.0安装教程

欢迎使用Markdown编辑器写博客1.jdk的安装； 2.hadoop安装； 3.scala安装； 4.spark安装。0.环境：mac OS X 10.12 1.jdk的安装：安装java JDK1.7及以上的版本，配置好环境变量。查看是否安装成功命令： $: java -version2.hadoop安装： $: brew install hadoop 默认安

2017-09-21 15:09:57 3055

转载 HIVE中常用函数大全

一、关系运算： 1. 等值比较: = 语法：A=B 操作类型：所有基本类型描述:如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例： hive>select 1 from lxw_dual where 1=1; 1不等值比较: <> 语法: A <> B操作类型:所有基本类型描述:如果表达式A为NULL，或者

2016-09-20 11:07:50 2156

原创 Rotated Array 旋转数组的解题报告--leetcode

Rotated Array即旋转数组的定义是：将一个有序数组的某个位置k之后的子数组移动到数组前面，是原数组的前半部分和后半部分都是有序的。例如：0,1,2,3,4,5,6，取k=4,则旋转之后的数组为：4,5,6,0,1,2,3.leetcode[https://leetcode.com/]上关于rotated array的题目一共有四题：33.Search in Rotated Sorted A

2016-08-28 10:56:37 1219

原创 java中保留2位小数的四种方法

在写程序的时候，有时候可能需要设置小数的位数，那么java中有哪几种保留小数位数的方法呢?本文以两位小数为例给出四种方法。package CodeJava_Leet;import java.math.BigDecimal;import java.text.DecimalFormat;import java.text.NumberFormat;/** * Created by Yechengpe

2016-08-26 22:46:46 54259 1

原创 “构造队列”的两种解法-网易有道17届校招内推在线笔试题

题目：小明同学把1到n这n个数字按照一定的顺序放入了一个队列Q中。现在他对队列Q执行了如下程序： while(!Q.empty()) //队列不空，执行循环{int x=Q.front(); //取出当前队头的值xQ.pop(); //弹出当前队头Q.push(x); //把x放入队尾x

2016-08-24 16:43:13 2116

原创网易17校招内推二笔试题（3）--颜色组合问题

问题：你就是一个画家！你现在想绘制一幅画，但是你现在没有足够颜色的颜料。为了让问题简单，我们用正整数表示不同颜色的颜料。你知道这幅画需要的n种颜色的颜料，你现在可以去商店购买一些颜料，但是商店不能保证能供应所有颜色的颜料，所以你需要自己混合一些颜料。混合两种不一样的颜色A和颜色B颜料可以产生(A XOR B)这种颜色的颜料(新产生的颜料也可以用作继续混合产生新的颜色,XOR表示异或操作)。本着勤

2016-08-09 22:50:57 2391

原创 ubuntu15.10下安装hadoop2.7.2

网上和很多书上都有不少的hadoop在linux系统下的安装教程，但是尝试过的读者会发现，就算是按照这些教程一步步的操作，还是会在某个地方出错，主要原因是版本问题。尤其是书上的版本一般都较老，所以并不建议对着书上的教程来操作，但是可以作为参考。下面给出我自己亲身实践的安装过程，尽量把我知道的原理也写出来，这样就算有些步骤出现问题，知道了原因也是很容易解决的，就怕出现问题了，还不知道问题出在哪？下面的

2016-07-13 23:08:14 783

原创 ubuntu详细教程[软件安装，命令大全，常用快捷键]

作为一个程序猿，当从windows转到Linux上的时候，还是很不习惯的，毕竟windows用起来确实蛮方便的，但是有些时候，尤其是开发，linux却有很大的优势，学习一下linux还是有必要的。1.下面从最简单的软件安装开始。 tar.gz文件的安装，是属于自己编译源代码的方法。tar是把文件打成一个包，并不压缩。 .gz是用gzip把打成包的.tar文件压缩，所以成了一个.tar.gz的文件

2016-07-13 16:46:48 7460

原创 IntelliJ IDEA 配置JDK

IDEA 是最好用的JAVA IDE，之前用的eclipse，后面在mac电脑上安装了IDEA 发现很好用，尤其是代码助手和debug的时候太方便了。于是在windows系统也装了一个，但是好像需要自己配置SDK（之前在mac 上装的时候好像没有出现这个问题），在网上找了教程，但是好像都没有解决，最后自己尝试着用命令行找到jdk的安装位置，然后在idea里面配置过去就行了。问题：IDEA导入JDK时

2016-07-12 22:57:37 71267 3

原创动态规划之 368Largest Divisible Subset

这是leetcode上的关于动态规划的一道题，先来看下原题： 368. Largest Divisible Subset QuestionEditorial Solution My Submissions Total Accepted: 3593 Total Submissions: 12097 Difficulty: Medium Given a set of distinct po

2016-07-11 19:43:52 1214

原创 UNIX TIMESTAMP 与 TIME 之间的转换

本文主要总结一下hive/mysql里常用的时间函数： FROM_UNIXTIME() //unixtime–>time UNIX_TIMESTAMP() //time–>unixtime1.1 FROM_UNIXTIME()的用法： FROM_UNIXTIME(unix_timestamp)， FROM_UNIXTIME(unix_timestamp,format) ps: u

2016-06-23 18:02:42 6527

原创 canopy中导入reportlab模块包

捣腾python的时候，发现canopy比pycharm更加方便，于是开始研究canopy了。canopy是Enought下的python开发IDE，里面集成了numPy, pandas等常用的工具，但是免费版的并没有reportlab包，所以，自己下载配置了一个。先下载安装reportlab包：参考：http://blog.csdn.net/y999666/article/details/5171

2016-06-20 21:56:17 1494 1

翻译 Installing packages into Canopy User Python from the OS command line

参考网址：https://support.enthought.com/hc/en-us/articles/204469690-Installing-packages-into-Canopy-User-Python-from-the-OS-command-lineWhenever possible, packages should be installed using Canopy’s Package

2016-06-20 21:42:15 940

原创 mac 安装reportlab工具

1.安装pip$sudo easy_install pip2.安装reportlab:$pip install rlextra -i https://www.reportlab.com/pypi/Downloading/unpacking rlextraUser for www.reportlab.com: [email protected]: your password Do

2016-06-20 11:20:13 2312

原创 mac os x常用命令

刚用mac不久，每次在mac ,linux, windows三个操作系统的切换中，容易忘记某些命令，所以把mac中常用的中端命令整理一下，方便随时查看。1.简单常用类：cd（不加参数）　　进root cd（folder）　　进入文件夹 cd ..　　　　　　上级目录 cd ~　　　　　　返回root cd -　　　　　　返回上一个访问的目录 pwd　　　　　　当前工作目录 rm 文件名

2016-06-20 09:02:47 689

原创 IntelliJ IDEA 的快捷键 for mac and windows对比

从windows 的eclipse转到mac 的idea,刚开始真的有点不习惯，尤其是快捷键的使用上面。于是在网上查，结果发现好像有不同的版本，快捷键也有些不同，于是，自己也整理了一份自己电脑上的快捷键设置，并与网上找到的版本作一个简单的对比。常用快捷键：复制当前行到下一行： command + D 删除行： command + delete

2016-06-17 14:40:21 4109

原创 ubuntu/linux下命令行安装jdk

1.ubuntu使用的是openjdk，所以我们需要先找到合适的jdk版本。在命令行中输入命令：$apt-cache search openjdk返回结果列表(因个人电脑而有所不同)：default-jdk-doc - Standard Java or Java compatible Development Kit (documentation) …(省略部分显示结果) openjdk-6-so

2016-06-15 22:16:34 15411 2

原创 Ubuntu Linux下搜狗输入法的安装教程

搜狗输入法是目前最好用的中文输入法之一，也是大多数国内用户首选的输入法，很多人装完PC系统第一件事就是先安装一个搜狗输入法。但是对于刚开始使用的Linux系统的用户而言，给电脑安装搜狗输入法貌似并没有Windows系统下那么简单方便。但最近Linux版本的搜狗输入法在UbuntuKylin团队的支持下，发布了新的版本，使习惯搜狗输入法的用户也能习惯Linux使用了。下面我把自己安装的过程总结如下：1

2016-06-11 15:15:07 779

原创 HashMap的实现原理及与 HashTable, Treemap的区别

Java中的接口Map由于是(K, V)键值对形式的存储结构，在编程中经常被用到，常用的实现类有：HashMap, HashTable, TreeMap.HashMap的实现原理：HashMap是数组和链表的结合体。从图中可以看出，HashMap底层就是一个数组结构，数组中的每一项又是一个链表。当新建一个HashMap的时候，就会初始化一个数组。 HashMap是基于hashing的原理，我们使用

2016-05-25 22:33:48 3754 1

原创 Array, ArrayList, LinkedList之间的区别分析

（一）Array（数组类） Java中最基本的数据结构，提供动态创建和访问java数组的方法，根据定义的Array类型，其中的元素与类型必须相同。Array是一个固定大小的容器，底层采用的是线性连续空间来存放元素。与Array容易混淆的还有Arrays（静态类），专门用来操作array,提供数组的搜索、排序、复制等静态方法。equals(), sort(), binarySearch()等。与此相

2016-05-25 22:04:18 6078

原创 Java单链表基本操作（十）--判断单链表是否有环并输出环长度以及环的入口节点

本文解决三个问题：1.单链表是否有环？ 2.有则输出环的长度？ 3.找到环的入口节点？分析：定义两个指针fast 和slow，fast每次向后移动两个节点，slow每次想后移动一个节点。 1.如果没有环，则fast首先到达链表结尾； 2.链表有环的情况下：fast与slow两次相遇，slow中间走过的节点处即为环的长度； 3.找环的入口节点稍微复杂点，有如下的推导过程：相遇的时候，sl

2016-05-18 15:35:41 3634 1

原创 2016"百度之星" - 资格赛（Astar Round1）Problem A B C D--java代码

Problem Description 度熊手上有一本字典存储了大量的单词，有一次，他把所有单词组成了一个很长很长的字符串。现在麻烦来了，他忘记了原来的字符串都是什么，神奇的是他竟然记得原来那些字符串的哈希值。一个字符串的哈希值，由以下公式计算得到：度熊手上有一本字典存储了大量的单词，有一次，他把所有单词组成了一个很长很长的字符串。现在麻烦来了，他忘记了原来的字符串都是什么，神奇的是他竟然记得原来

2016-05-15 20:50:19 1433

原创大搬家（2016"百度之星" - 测试赛（热身，陈题））--Java代码

原题：（地址http://bestcoder.hdu.edu.cn/contests/contest_showproblem.php?cid=695&pid=1001）1001 大搬家 Accepts: 1516 Submissions: 6288 Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/65536 K

2016-05-13 17:49:47 756

原创 Java二叉树（三）--非递归的中序_先序_后序遍历二叉树

二叉树的递归遍历非常简单，但是非递归遍历就需要一点小技巧了，否则代码逻辑容易混乱，这里我给每一个节点定义里加入了一个访问标记flag,这样可以有效避免重复访问和代码逻辑不清楚的问题。代码如下：package binarytree;import java.util.Stack;/** * @author Gavenyeah * @date Time: 2016年5月13日上午8:46:38 *

2016-05-13 10:57:56 854

原创 JAVA动态规划（五）--01背包问题及装箱问题

问题：01背包是在M件物品取出若干件放在空间为W的背包里，每件物品的体积为W1，W2……Wn，与之相对应的价值为P1,P2……Pn。在给定容量为C的条件下，求如何选取物体使带来的价值最大化。分析：记发f（m, n）表示给定第一件至第m件物品时，给定容量为n 时的最大价值。则：状态转移方程： f(i,j)=max{f(i-1,j-wi)+vi, f(i-1,j)}java代码如下：package

2016-04-22 22:07:09 8404

原创 JAVA动态规划（四）--根据给定0和1的个数，求字典序排在第K位的数【微软笔试题】

题目： Time Limit: 10000ms Case Time Limit: 1000ms Memory Limit: 256MB Description Consider a string set that each of them consists of {0, 1} only. All strings in the set have the same number of 0s a

2016-04-22 22:00:56 2151

原创海量数据去重排序--bitmap（位图法）在java中的实现的两种方法

在海量数据中查找出重复出现的元素或者去除重复出现的元素是面试中常考的文图。针对此类问题，可以使用位图法来解决。例如：已知某个文件内包含若干个电话号码，要求统计不同的号码的个数，甚至在O（n）时间复杂度内对这些号码进行排序。位图法需要的空间很少（依赖于数据分布，但是我们也可以通过一些放啊发对数据进行处理，使得数据变得密集），在数据比较密集的时候效率非常高。例如：8位整数可以表示的最大十进制数值为999

2016-04-22 15:48:56 16075 4

原创 Java排序算法（十）--桶排序

前面的1~8介绍的都是基础的排序的算法，现在来介绍一种高效的排序算法–桶排序。桶排序的原理是：将数组分到有限数量的桶子里。每个桶子再个别排序（有可能再使用别的排序算法或是以递归方式继续使用桶排序进行排序）。桶排序是鸽巢排序的一种归纳结果。当要被排序的数组内的数值是均匀分配的时候，桶排序使用线性时间（Θ（n））。但桶排序并不是比较排序，他不受到 O(n log n) 下限的影响。主要原理是：利用了空

2016-04-22 15:32:44 5550

原创 java“找不到或无法加载主类”及编码错误问题

先给出具体代码（当前目录为：D：\pro）：package org.test;public class TestJava{ public static void main(String args[]){ System.out.println("Hello World!!!"); System.out.println("你好，Java!!"); }}

2016-04-22 15:18:21 3883

原创 Java二叉树（二）--根据前序和中序遍历求后序遍历

package binarytree;/** * @author Gavenyeah * @date Time: 2016年4月12日上午10:51:37 * @des: *///根据前序和中序遍历求后序遍历public class PostFromPre_In { BinaryTree biTree=new BinaryTree(); public static vo

2016-04-12 20:52:14 641

原创 Java二叉树（一）--定义及前序、中序、后序、层次遍历及求高度的实现

package binarytree;import java.util.LinkedList;import java.util.Queue;/** * @author Gavenyeah * @date Time: 2016年4月10日下午10:14:08 * @des: */public class BinaryTree { Node root = null;// 二叉树的根节

2016-04-12 20:45:46 561

原创 Buiding in Sandbox--2016微软预科生技术岗笔试题四--Java

问题： Little Hi is playing a sandbox voxel game. In the game the whole world is constructed by massive 1x1x1 cubes. The edges of cubes are parallel to the coordinate axes and the coordinates (x, y, z) o

2016-04-07 10:21:35 1208

原创 JAVA动态规划（三）--最长回文字符串（可删除中间字符）【腾讯2016实习生笔试题】

题目：所谓回文字符串，就是一个字符串，从左到右读和从右到左读是完全一样的，比如：”aba”，”abba”.对于一个字符串，可以通过删除某些字符二编程回文字符串，如：“cabebaf”,删除“c,e,f”后剩下子串“abba”就是回文字符串。要求：给定任意一个字符串，字符串的最大长度1000，计算出最长的回文字符串长度。输入：字符串输出：最大的回文字符串的长度。分析：对于可删除的最大回文字

2016-04-04 15:35:34 3928 1

原创 JAVA动态规划（二）--最长公共子序列问题（LCS_subSequence）的三种解法与最长公共子字符串（LCS_subString）的两种解法与最长回文串（LongestPalindrome）

动态规划法经常会遇到复杂问题不能简单地分解成几个子问题，而会分解出一系列的子问题。简单地采用把大问题分解成子问题，并综合子问题的解导出大问题的解的方法，问题求解耗时会按问题规模呈幂级数增加。为了节约重复求相同子问题的时间，引入一个数组，不管它们是否对最终解有用，把所有子问题的解存于该数组中，这就是动态规划法所采用的基本方法。【问题】求两字符序列的最长公共字符子序列问题描述：字符序列的子序列是指从给

2016-04-03 12:14:03 2152 1

原创 Java单链表基本操作（九）--交换相邻节点对的值

本题目来源于：Leetcode: 24.swap nodes in pairs(单链表中交换节点对的值) Given a linked list, swap every two adjacent nodes and return its head. For example, Given 1->2->3->4, you should return the list as 2->1->4->3.

2016-04-01 16:29:27 4500 1

原创 Java单链表基本操作（八）--合并两个有序单链表

package listnode;/** * @author Gavenyeah * @date Start_Time：2016年4月1日下午15:01:47 * @date End_Time：2016年4月1日下午15:23:41 */public class MergeSeqList { public static void main(String[] args)

2016-04-01 16:17:36 4231 1

libsvm-3.21(包含可直接使用的libsvm数据集heart_scale)

2016-04-02

eclipse中直接应用sublime主题界面

个人平时喜欢用sublime写代码，然后再eclipse中运行。因为sublime界面好看，而eclipse作为java经典的编辑器，最方便。于是就想着如何把sublime中的界面设置在eclipse中。

2016-04-02

Eclipse整个界面设置成黑色JAR包

Eclipse界面主题设置： 1．将eclipse_colortheme_themes_1.0.0.201207121019.jar放到Eclipse的安装目录下的dropins文件夹下。（查看安装目录方法：邮件单击eclipse图标-->属性即可查看） 2．将eclipse_color_theme_0.11.1.201106241814.jar放在eclipse里的plugins文件夹里 3．重启eclipse 4．在window-->preferences-->General-->Appearance里：（1）Theme中选择DarkJuno来设置Eclipse编辑框之外的皮肤颜色（黑色）；（2）Color Theme 里设置编辑框的颜色。

2016-03-29

TA关注的人

libsvm-3.21(包含可直接使用的libsvm数据集heart_scale)

eclipse中直接应用sublime主题界面

Eclipse整个界面设置成黑色JAR包

theme_preference_eclipse

java语言版的 输入两点坐标（X1,Y1）,（X2,Y2）,计算并输出两点间的距离。

libsvm data set heart_scale for matlab

java中Scanner中close()的的使用方法？

java语言版的输入两点坐标（X1,Y1）,（X2,Y2）,计算并输出两点间的距离。