- 博客(8)
- 收藏
- 关注
原创 部署spring boot项目到spark上
先说一下开发环境大概情况:IDE:IntelliJ IDEA使用spring boot和gradle进行项目的构建jdk版本 1.8,这里注意一下,开发环境打jar包时的jdk版本要和spark配置里的jdk的版本一致。步骤1、完成coding后,把当前module打成jar包,具体可参考 这篇文章,自行修改build.gradle打包。成功后从目录build/l
2018-01-16 17:12:27
4353
1
原创 python2.7和3.5的http请求(urllib, urllib等)
需求的请求格式: http://www.baidu.com/s?wd=word&time=timepython2.7# !/usr/bin/python# -*- coding:utf-8 -*-import urllib2import urllibdef sendReq(): url = 'http://www.baidu.com/s' values =
2018-01-08 21:26:19
5609
原创 SPARK基础概念
Spark集群spark的核心模块专注于调度和管理虚拟机上分布式计算任务的执行,集群中的计算资源则交给Cluster Manager这个角色来管理。Cluster Manager一般采用Master-Slave结构。以Yarn为例,部署ResourceManager服务的节点为Master,负责集群中所有计算资源的统一管理和分配;部署NodeManager服务的节点为Slave,负责在
2018-01-05 19:30:01
310
原创 (string)、toString()和String.valueOf()三种类型转换
1、(String) 这是标准的类型转换,将object转成String类型的值。使用这种方法时,需特别小心的是因定义为 Object 类型的对象在转成String时语法检查并不会报错,这将可能导致潜在的错误存在。这时要格外小心。例: Object obj = new Integer(100); String strVal = (String)obj;在运行时将会
2017-12-23 13:52:29
3171
原创 Java容器
简单的容器分类图。其中总共有四种容器:Map、List、Set和Queue,它们各有两到三个实现版本。常用的容器用黑色粗线框表示。点线框表示接口,实线框表示具体的类。带有空心箭头的点线表示一个特定的类实现了一个接口,实心箭头表示某个类可以生成箭头所指向类的对象。接下来说一说Iterator和Iterable两个接口的区别。Iterable接口(Java.lang.Iterable)
2017-07-08 10:29:08
234
原创 阶乘问题
问题1.给定一个整数N,那么N的阶乘N!末尾有多少个0呢?例如:N=10,N!=3628800,N!的末尾有两个0.问题分析碰到这个问题,有些人可能回想:是不是要完整计算出N!的值?实际上可以从“哪些数相乘能得到10”这个角度来考虑,问题就变得简单了。首先考虑,如果N!=K×10M且K不能被10整除,那么N!末尾有M个0。再开率对N!进行因数分解,N!=(2X)× (3Y)×
2017-07-03 15:10:20
363
原创 求二进制数中1的个数
Q:对于一个字节(8bit)的无符号整型变量,求其二进制表中“1”的个数,要求算法的执行效率尽可能高。解法1对于二进制操作,对一个二进制数除以一个2,原来的数字会减少一个0。如果除的结果中有余,那么就表示当前位置有一个1。int Count(BYTE v){ int num = 0; while (v) { if (v % 2 ==1){
2017-06-30 13:37:45
226
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人