- 博客(40)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 看过来，需要大量数据集的人儿们~Spark基准测试平台BigDataBench
做实验在收集大量数据集的时候发现了这个——BigDataBench如果需要大量数据集and性能测试的人儿们，可以看过来，并且支持hadoop等其他框架教程主要来自这位大神~https://blog.csdn.net/qq_25745863/article/details/88743750记录一哈，除了上文提到的出现的问题，还报过这几个问题1、文件夹权限问题sudo chmod ...
2019-04-04 14:07:43
969
2
原创 oracle数据库查询两个时间点的数据
select a.*,from table_nameWHEREa.exec_time>=to_date('20070611 00:00:01', 'yyyymmdd hh24:mi:ss') and a.exec_time<=to_date('20070611 23:59:59', 'yyyymmdd hh24:mi:ss')
2020-03-17 11:24:33
2262
原创 康威定律
康威定律详细介绍核心观点，如下：第一定律：Communication dictates design（组织沟通方式会通过系统设计表达出来）第二定律：There is never enough time to do something right, but there is always enough time to do it over（时间再多一件事情也不可能做的完美，但总有时间做完...
2019-09-02 14:31:25
617
原创 ubuntu下java编译运行时引用第三方jar包的方法
由于虚拟机太卡，测试一些程序选择了命令行的方式，运行java程序需要导入jar包，搜索了一下方法并记录如下：1、方法java -cp 【引用的jar包】【执行的java文件】-cp 和 -classpath 一样，是指定类运行所依赖其他类的路径，通常是类库、jar包之类的。window上，jar包与jar之间用分号“;”分隔；linux上是分号“:”分隔，用一点“.”代表当前路径。...
2019-03-13 11:27:21
1405
原创 xml dom 的SelectNodes用法
SelectNodes 使用 XPath 来选取节点。重要语法SelectNodes("item")从当前节点的儿子节点中选择名称为 item 的节点。SelectNodes("/item")从根节点的儿子节点中选择名称为 item 的节点。SelectNodes("//item")从任意位置的节点上选择名称为 item 的节点。要重点突出这个任意位置，它不受当前节点的...
2019-03-12 18:50:57
1165
2
原创 test.java:7: error: error while writing test: test.class (Permission denied)
该目录下没有权限写.class文件执行赋权语句即可：chmod 777 /home/software/jdk1.7.0_03/java；备注：chmod是赋权限命令，777表示赋值所有权限对本用户，本组用户、其他用户。...
2019-03-10 20:19:24
950
转载 Linux下java编译运行时引用第三方jar包的方法
1、方法java -cp 【引用的jar包】【执行的java文件】-cp 和 -classpath 一样，是指定类运行所依赖其他类的路径，通常是类库、jar包之类的。window上，jar包与jar之间用分号“;”分隔；linux上是分号“:”分隔，用一点“.”代表当前路径。2、举例（1）执行名称为Test的java文件时需要sss.jar包，则执行命令如下： java ...
2019-03-10 20:17:02
3199
原创 spark编译和生成部署包
有时候下载的spark不支持一些应用需要添加一些依赖，需要对spark进行编译。比如我安装了ganglia集群，但是spark不支持要编译。前提安装好MAVEN JAVA,我的系统是ubuntustep1:官网或者GitHub上下载源码step2:解压源码step3:设置maven编译时的jvm方法区大小set MAVEN_OPTS=-Xmx2g -XX:MaxPermS...
2019-03-07 16:32:32
456
4
原创 关于Ubuntu中Could not get lock /var/lib/dpkg/lock解决方案
1、在ubuntu系统中使用命令sudo apt-get install 命令时出现错误，Could not get lock /var/lib/dpkg/lock2、原因：主要是因为apt还在运行。3、方法：删除锁定文件锁定的文件会阻止 Linux 系统中某些文件或者数据的访问，这个概念也存在于 Windows 或者其他的操作系统中。一旦你运行了 apt-get 或者 apt ...
2019-03-04 10:47:01
699
1
原创 带你看懂Spark2.x源码之Task分配算法
https://blog.csdn.net/qq_41571900/article/details/84503945
2018-12-28 10:43:07
270
原创 Spark2.x源码之stage划分
https://blog.csdn.net/qq_41571900/article/details/84452430
2018-12-28 10:42:42
168
原创 遗传算法、粒子群算法学习
这篇博文算是给自己学习的一个目录。1、遗传算法网上遗传算法的解释蛮多的，但是例子有点少，综合以下两篇博文。https://blog.csdn.net/u010425776/article/details/79155480https://blog.csdn.net/u012422446/article/details/68061932第一篇提的例子正好是我需要的，但是里面有点不清...
2018-11-22 15:15:07
1498
原创 中国工商银行软件开发中心 暑期实习心得
过程：按时间先后顺序。一、熟悉业务流程。和以前做的XX管理系统或者XX模型来说，复杂了很多，理不清思路会导致数据库都设计不出来，进而使后面无法继续。 二、设计数据库。与业务关系极大，不再是简单的几个属性即可，要考虑到报文号的追踪，后期并发问题，以前都不考虑这些。1、阅读了mysql开发规范+业务文档。2、画ER图。3、再根据业务逻辑，检查数据库是否能支持整个业务，找出问题，...
2018-08-30 09:39:42
9092
16
原创 小白的华为优招面试
2018.8.28更新，官网已经显示面试不通过了，蓝瘦！ 华为的效率还蛮高的，上周一投的简历，周三笔试，周六性格测试，今天周一就面试了，也有可能是我卡在了截至期之前投的简历。一、乱七八糟的先说说。周六给我发链接，让我选面试时间，这点挺人性化的，我选了上午11点的，因为下午会困嘛~嘻嘻~10点55到指定的某某酒店的小礼堂一楼等候，到时间了hr小姐姐检查了我们的身份证，让我们...
2018-08-27 18:06:43
1219
1
原创 Java面试题总结
2018.8.26 看到一个大神总结的面试题，先码上，再慢慢看，链接集合：上：https://blog.csdn.net/jackfrued/article/details/44921941下：https://blog.csdn.net/jackfrued/article/details/44931161...
2018-08-26 20:32:24
200
2
转载 39个前端精美后台模板
转自https://blog.csdn.net/ANONYMOUSLAI/article/details/76850851.Ace_admin下载地址：http://pan.baidu.com/s/1dFaRCCL2.AdminEx下载地址：http://pan.baidu.com/s/1gfxOkpl3.AdminLTE下载地址：http://pan.baid...
2018-08-26 15:28:29
16296
1
原创 宁波银行面试经验
目录1、杂七杂八2、技术面3、行政面4、无领导小组面试1、杂七杂八面试地点在宁波，会安排住宿和包单程车费。提前了5天给我发通知，hr小姐姐超级nice，特别热心。2、技术面2.1首先自我介绍，来自哪啊，做过什么项目，实习经验啥的。2.2先问你会什么语言，我说java和Python都会一点，然后问了三个基础题：2.2.1 数据库连接过程2.2.2 抽象类和...
2018-08-21 22:32:57
12095
5
原创 java知识点总结
最近在面试，笔试时，问到的一些题目，自己回答的时候都有些不全面，故总结如下，不断更新中~目录一、jdbc过程二、socket原理三、java调用对象的几种方法四、hashcode的实现机制五、接口的分类 一、jdbc过程首先，需要知道使用Java开发任何数据库应用程序都需要4个主要接口：Driver，Connection，Statement和ResultSet。...
2018-08-13 10:02:41
10582
1
转载 java虚拟机
1. JVM生命周期启动。启动一个Java程序时，一个JVM实例就产生了，任何一个拥有public static void main(String[] args)函数的class都可以作为JVM实例运行的起点。 运行。main()作为该程序初始线程的起点，任何其他线程均由该线程启动。 消亡。当程序中的所有非守护线程都终止时，JVM才退出；若安全管理器允许，程序也可以使用Runtime类或者...
2018-08-13 09:54:44
557
原创 idea 第一次建spring 工程报错Could not transfer artifact org.springframework.boot:spring-boot-starter-parent:
pom.xml文件的project上报错Could not transfer artifact org.springframework.boot:spring-boot-starter-parent:pom:1.5.4.RELEASE办法 ：命令行 cd 到项目路径下使用mvn complile编译后，右键项目 maven -》reimport 即可...
2018-07-25 09:13:57
24668
5
原创 分析Spark源码第一步——搭建源码阅读环境
为了深入理解spark，想了解一下源码，故搭建了一下源码阅读环境。我是在windows环境下进行的。step1:工具的获取我安装的软件及版本如下，搭建之前请安装好这些：(1)java1.8(2)scala 安装可参考http://www.runoob.com/scala/scala-install.html(3)maven 参考 https://www.yiibai.com...
2018-05-29 19:49:35
6349
3
转载 SCI/SCIE/SSCI的查询验证链接
SCI/SCIE/SSCI的查询验证链接如下（能搜到结果证明属于该索引期刊，意见通过ISSN号码查询）：SCI查询：http://mjl.clarivate.com/cgi-bin/jrnlst/jlsearch.cgi?PC=KSCIE查询：http://mjl.clarivate.com/cgi-bin/jrnlst/jlsearch.cgi?PC=DSSCI查询：http://mjl.cla...
2018-05-25 12:39:52
12922
1
原创 Ubuntu下两个gcc版本切换
先看看我们系统用的gcc和g++是什么版本gcc -v可以获得的信息如下gcc version 4.4.6 (Ubuntu/Linaro 4.4.6-11ubuntu2)如果我们想使用gcc4.5怎么办？首先看看有没有安装gcc4.5，ls /usr/bin/gcc*结果只有/usr/bin/gcc /usr/bin/gcc-4.4两个，那么我们需要安装sudo apt-get install ...
2018-04-28 13:03:11
311
原创 百度 建立安全连接失败
突然早上打开电脑准备百度，显示 建立安全连接失败搜了好几个方法 都没用 最后在internet选项的高级里面 Internet explorer 重置这个笨办法 然后就ok了
2017-10-19 10:29:47
10795
转载 Hadoop 解除 "Name node is in safe mode"
只要在Hadoop的目录下输入： bin/hadoop dfsadmin -safemode leave原因：之前在hadoop执行过程中使用了"ctrl+c"操作
2017-09-22 19:23:20
679
原创 hadoop集群搭建datanode，nodemanager启动不了
的处理方法是，到你的每个Slave下面去，找到.../usr/hadoop/tmp/dfs/ -ls会显示有： data这里需要把data文件夹删掉。接着直接在刚才的目录下启动hadoopstart-all.sh接着查看jps那么就会出现datanode.了
2017-09-22 15:36:08
2158
原创 从本地传入数据到MySQL数据库
个人觉得比较简单的方法如下：假如要传入数据库的名字为：asql文件名为：b进入本地sql数据存放的目录下在终端输入 mysql -u 用户名 -p 密码 a
2017-09-19 10:31:47
672
原创 python 随机生成 01 字符串
# -*- coding: utf-8 -*-import randomseed = "01"sa = []for i in range(20): sa.append(random.choice(seed))salt = ''.join(sa)print salt生成20位字符串
2017-09-17 10:07:10
4039
原创 spark+pycharm+python（主要介绍pycharm的设置）
因为本人比较熟悉Python,所以没有用scala而且在windows下操作比较坑 后期不能基于yarn(因为windows 安装hadoop比较麻烦），故在ubuntu下运行了1，安装spark2，安装hadoop3，安装pycharm4.安装不详细说了，主要写下pycharm里面怎么配置1） 先新建一个project 2）然后选择“Run” ->“Edit Conf
2017-09-15 20:54:32
490
原创 输入pyspark '""C:\Program' 不是内部或外部命令，
是因为Jdk设置环境变量的时候JAVA_HOME的路径有空格，用双引号把有空格的路径括起来 就行了
2017-09-15 10:44:34
2111
原创 Ubuntu提示存储空间不够
http://blog.csdn.net/mandagod/article/details/47146089这个方法释放了大概1G的硬盘容量http://os.51cto.com/art/201511/498283.htm这个方法好像只
2017-08-13 09:47:23
2759
原创 pip easy_install 安装python第三方库 超时报错
最近不管用python的pip 还是easy_install安装第三方库 都超时报错百度了相关资料1.设置超时时间 如添加timeout=1002.手动设置第三方源个人觉得第二种解决方法更好 eg:pip install packagename -ihttp://pypi.douban.com/simple --trusted-host pypi.douban.com
2017-08-09 09:23:38
2004
原创 eclipse运行spark出现找不到主类的问题
出现问题的原因是spark和Scala版本不符合我的spark是2.1.1所以项目右键选自properties改scala compiler 为scala2.11.8
2017-07-15 10:11:10
1208
原创 Ubuntu 15.04 开机无法进入图形界面，自动进入emergency mode解决方法
某些情况下无法进入ubuntu 15.04 的图形界面，界面提示 GIVE root password for maintenance (or type control-D to continue): 或者 Error getting authority:could not connect ...等类似文字。然后就是解决方法：方法一：（亲测有效）就是在那个G
2017-06-30 11:04:20
667
原创 windows安装mysql-python时碰到setuptools找不到安装路径的解决办法
百度了一下，新建一个python脚本运行即可~ 代码地址http://download.csdn.net/detail/qq_27667379/9883985
2017-06-29 14:48:02
577
转载 ImportError DLL load failed: %1 不是有效的 Win32 应用程序
操作系统：win7 64位，安装mysqldb 后提示：ImportError DLL load failed: %1 不是有效的 Win32 应用程序，是由于安装的32位的MySQL-Python-1.2.3.win32-py2.exe,，只要改成64位版本的就可以了。
2017-06-29 14:46:22
2511
转载 单机模式hadoop的配置
单机模式1、 你安装 Ubuntu的时候不是用的 "hadoop"用户，那么需要增加一个名为 hadoop的用户。命令：sudo useradd -m hadoop -s /bin/bash该环境下：linux中英文的切换方式是使用键盘“shift”键来切换，复制粘贴的快捷键需要加上 shift，即粘贴是 ctrl+shift+v2、 接着使用如下命令设置密码，
2017-06-14 09:43:06
349
转载 VirtualBox 配置虚拟网卡(桥接),实现主机-虚拟机网络互通
Step1:VirtualBox在虚拟机关机状态下，如图进行设置：Step 2:虚拟机开机，输入命令：sudo ifconfig或者sudo ifconfig -a查看当前网卡配置查看当前ip地址Step3: 输入命令：vim/etc/network/interfaces 打开网卡配置文件，添加eth1，保存修改。修改后的文件内容，如下：
2017-05-24 14:41:39
4953
转载 ubuntu关闭和开启防火墙
1、关闭ubuntu的防火墙 ufw disable2开启防火墙 ufw enable3、卸载了iptables apt-get remove iptables4、关闭ubuntu中的防火墙的其余命令 iptables -P INPUT ACCEPT iptables -P FORWARD ACCEPT
2017-05-24 14:38:25
315
simplescalar模拟器
2018-04-27
请问一下 我在spark单机上跑了个小程序成功了 ，然后在集群上就报错了
2017-11-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人