- 博客(57)
- 资源 (20)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 scala语法汇总
// def main(args: Array[String]) def main(){print("-------------------------------------下面是输出语句的用法--------------------------------------\n")var list = Array(1,2,3,4) var a = 10; var b = 20;...
2018-07-31 09:52:50
298
原创 ubuntu16.04下面用sublime运行scala代码
下载一个scala包http://distfiles.macports.org/scala2.11/scala-2.11.8.tgz注意要跟spark匹配,我的spark版本是2.3.1查看scala与spark版本是否兼容的方法:/home/appleyuchi/.virtualenvs/python2.7/lib/python2.7/site-packages/pyspark/...
2018-07-30 17:03:43
407
转载 正确地启动hadoop
-----------------------环境-----------------------ubuntu16.04系统 64位apache-hive-3.0.0-bin spark-2.3.1-bin-hadoop2.7scala2.11JDK版本:jdk1.8.0_131hadoop-3.0.3 笔记本y460 ---...
2018-07-30 13:09:47
522
原创 hadoop中的namenode进行格式化是什么意思?
只有namenode需要format,secondarynamenode和datanode不需要format。类似于硬盘分区后以及新买的u盘需要格式化的问题,因为硬盘,u盘以及hdfs一样都是一个文件系统,所以使用前要格式化....
2018-07-30 12:47:18
3013
原创 sqoop2操作流程
--------------------------配置-------------------------------------配置/home/appleyuchi/bigdata/sqoop-1.99.5-bin-hadoop200/server/conf中的sqoop.properties文件以及catalina.properties文件catalina.properties中修改如...
2018-07-30 10:11:52
931
转载 本地部署的hadoop启动hdfs.sh出现permission denied
(python2.7) appleyuchi@ubuntu:~$ ssh-keygenGenerating public/private rsa key pair.Enter file in which to save the key (/home/appleyuchi/.ssh/id_rsa): /home/appleyuchi/.ssh/id_rsa already exists.Ov...
2018-07-30 09:51:10
2195
原创 sqoop2出现Connection refused
Sqoop home directory: /home/appleyuchi/bigdata/sqoop-1.99.5-bin-hadoop200Setting SQOOP_HTTP_PORT: 12000Setting SQOOP_ADMIN_PORT: 12001Using CATALINA_OPTS: Adding to CATALINA_OPTS: ...
2018-07-29 18:40:56
858
原创 sqoop种出现:There are issues with entered data, please revise your input问题解决
sqoop:000> create link --cid 1 Creating link for connector with id 1Please fill following values to create new link objectName: mysqlLink configurationJDBC Driver Class: ge...
2018-07-29 15:30:42
824
原创 安装sqoop以后,hive中的info信息无法禁止的问题解决
配置完sqoop以后,我们会发现,即使使用下列文件也无法禁止INFO级别的信息出现/home/appleyuchi/bigdata/hadoop-3.0.3/etc/hadoop/log4j.properties解决方案:下面的信息,在启动sqoop的时候再激活,平时没啥用的时候注释掉即可# export HADOOP_COMMON_HOME=$HADOOP_HOME/share/...
2018-07-28 20:03:44
1036
原创 使用hive中beeline引擎来访问hive数据库
hive中beeline引擎连接hive访问hive引擎注意,往下阅读前,必须先确保hive>能连接mysql数据库我们知道:hive中的引擎有两个:hive>beeline>现在使用第二个beeline引擎1.启动元数据库(用来确保hive和mysql的通信连接)hive --service metastore2.启动hiveserver2服务(如...
2018-07-28 14:00:15
3734
转载 ubuntu16.04修改xfce下的gedit的背景颜色
终端输入cd /usr/share/themes/Greybird/gtk-3.0定位到该文件夹。接着输入命令sudo gedit gtk.css来编辑该文件。将base_color #ffffff修改成 #CCE8CF，然后保存退出重新打开gedit就会发现gedit背景色变成绿色了...
2018-07-26 15:41:36
1763
原创 java.lang.NoClassDefFoundError: com/fasterxml/jackson/databind/Module
(python2.7) appleyuchi@ubuntu:~$ pysparkPython 2.7.12 (default, Nov 19 2016, 06:48:10) [GCC 5.4.0 20160609] on linux2Type "help", "copyright", "credits" or "license" for more information.18/07/25 ...
2018-07-25 17:30:46
6110
转载 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
spark-env.sh中加入export SPARK_DIST_CLASSPATH=$(${HADOOP_HOME}/bin/hadoop classpath)
2018-07-24 20:18:12
1865
1
转载 java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray
hive中的报错信息，完全看不懂， 最后我参考了http://cache.baiducontent.com/c?m=9f65cb4a8c8507ed19fa950d100b92235c4380146d8b804b2281d25f93130a1c187bb8fd777f5b45ce87616c02aa4d5fe9f42172405966e8c5dccd179ded9d747cce7c70...
2018-07-24 19:25:20
1212
转载 Failed to start database 'metastore_db' with class loader sun.misc.Launcher$AppClassLoader
Caused by: ERROR XJ040: Failed to start database 'metastore_db' with class loader sun.misc.Launcher$AppClassLoader@6d03e736, see the next exception for details. at org.apache.derby.iapi.error.Stan...
2018-07-24 18:42:05
5222
转载 java.library.path到底指什么
java.library.path到底指什么？这个就是.bashrc中的LD_LIBRARY_PATH设为export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
2018-07-24 18:10:17
38228
转载 hive中的数据库与mysql中的hive数据库的关系
mysql中的hive数据库是自己手动创建的，然后执行下面语句：schematool -dbType mysql -initSchema 该语句的作用是在mysql的hive数据库下建立一大堆的表格． －－－－－－－－－－－－下面是hive操作－－－－－－－－－－－－－hive> show databases;OKdefaulthiveTime taken: 0.0...
2018-07-23 15:32:38
2354
2
转载 Hive添加＋插入数据示例
hive> use hive ;OKTime taken: 0.024 secondshive> show tables;OKTime taken: 0.057 secondshive> create table if not exists student(id int,name string,gender string, age int);OKTime take...
2018-07-23 15:22:48
17069
原创 pyspark连接mysql
首先按照以下连接先在本地mysql中导入数据：https://blog.csdn.net/appleyuchi/article/details/79439387然后配置好各种文件以后，在sublime中输入以下代码运行： from pyspark import SparkContextfrom pyspark.sql import SQLContextimport sysi...
2018-07-23 15:14:24
4395
转载 Exception in thread "main" org.apache.thrift.transport.TTransportException: Could not create ServerS
Exception in thread "main" org.apache.thrift.transport.TTransportException:Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083. lsof -i:9083再关闭端口即可
2018-07-22 20:44:31
3260
转载 Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
这个问题先检查mysql中的hive数据库是否有一大堆的表格，如果没有的话，需要先一.hive元数据库初始化，执行 schematool -dbType mysql -initSchema（schematool是hive文件夹下面的一个文件）这个初始化后的结果在mysql种的hive数据库中二．然后检查hive-site.xml中是否数据库的用户名和密码弄错了 ...
2018-07-22 20:43:01
3957
1
转载 MetaException(message:Hive Schema version 3.0.0 does not match metastore's schema version 1.2.0 Meta
解决方案https://www.cnblogs.com/liupuLearning/p/6812853.html讲真，这种问题碰到也是因为没有选好版本，版本真的不能选择太高啊．
2018-07-22 20:40:20
654
转载 Exception in thread "main" java.lang.RuntimeException: java.lang.IllegalArgumentException: java.net.
解决方案如下：在hive 配置文件hive-site.xml 中找到${system:java.io.tmpdir}，并把此都替换成具体目录，如/home/hive/apache-hive-2.0.0-bin/iotmp然后，启动hive即可 ...
2018-07-22 20:05:38
3976
原创 llegal character entity: expansion character (code 0x8
Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxParsingException: Illegal character entity: expansion character (code 0x8 at [row,col,system-id]: [3213,96,"file:/home/appl...
2018-07-22 20:02:29
2727
原创 WARN HiveConf: HiveConf of name hive.metastore.local does not exist注意事项
WARN HiveConf: HiveConf of name hive.metastore.local does not exist解决方案是：<property> <name>hive.metastore.local</name> <value>false</value> <description>...
2018-07-22 13:16:36
6926
转载 安装hive出现的各种问题(这些问题出现在spark连接mysql的时候)
首先在启动hive的时候，进入debug模式，hive -hiveconf hive.root.logger=DEBUG,console才能出现下面的信息，终端上的信息会非常多，我们可以按下shift+pageup键，把信息拷贝到一个txt上，然后搜索error这个单词所在位置，往往就是报错信息，然后进行不断地人机交互．进入hive 执行show databases时报错， 错误如下...
2018-07-21 20:46:18
1401
转载 pyspark读取json文件中的内容
代码如下：#-*- coding:utf- -*-import sysreload(sys)sys.setdefaultencoding('utf-8')from pyspark import SparkConf,SparkContextfrom pyspark.sql import SQLContextconf=SparkConf().setAppName("spark_...
2018-07-20 12:37:02
6133
转载 输出省略号的问题
np.set_printoptions(threshold=2000)#全部输出pd.set_option('display.max_colwidth',2000)#全部输出pd.set_option('max_colwidth',2000)pd.set_option('display.max_rows',None)pd.set_option('display.max_columns'...
2018-07-18 14:47:00
691
转载 pyspark输出RDD中的内容
# -*- coding: utf-8 -*-import sysreload(sys)sys.setdefaultencoding('utf-8')# @Author: appleyuchi# @Date: 2018-07-14 16:29:23# @Last Modified by: appleyuchi# @Last Modified time: 2018-07-15...
2018-07-15 19:27:04
8375
转载 spark 常用函数介绍（python）
在开始之前，我先介绍一下，RDD是什么？ RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组的区别是，RDD中的数据是分区存储的，这样不同分区的数据就可以分布在不同的机器上，同时可以被并行处理。因此，Spark应用程序所做的无非是把需要处理的数据转换为RDD，然后对RDD进行一系列的变换和操作从而得到...
2018-07-15 19:01:06
876
原创 sublime+virtualenv+pyspark执行的时候报Unable to load native-hadoop library for your platform
Unable to load native-hadoop library for your platform这个报错在网上有一大堆解决方案，我们会发现，完全无效。为什么呢？因为此时，sublime里面的虚拟环境python2.7使用的是virtualenv的site-packages下面的pyspark，不再是我们下载的那个pyspark源码包了。所以解决方案只有一个，/home/appleyuc...
2018-07-14 22:22:42
1149
原创 Caused by: java.net.UnknownHostException: ubuntu: Name or service not known
终端输入hostname得到：ubuntu然后：ping ubuntu如果不能ping通的话在/etc/hosts中添加一句ubuntu 127.0.0.1即可，然后重新运行spark代码，报错就消失了
2018-07-14 20:59:15
1656
原创 免输入用户名和密码以及git clone以后想提交代码
git clone https://github.com/appleyuchi/Learning-Spark.gitcd Learning-Sparkgit remote remove origingit remote add origin git@github.com:appleyuchi/Learning-Spark.gitgit push --set-upstream origin mast...
2018-07-14 20:45:43
2048
原创 pyspark.zip/pyspark/worker.py:53: UnicodeWarning: Unicode equal comparison failed to convert both ar
/home/appleyuchi/.virtualenvs/python2.7/local/lib/python2.7/site-packages/pyspark/python/lib/pyspark.zip/pyspark/worker.py:53: UnicodeWarning: Unicode equal comparison failed to convert both arguments...
2018-07-13 19:59:29
727
转载 python 的几个内置函数（lambda ,zip, filter, map, reduce ）用法
1.lambda lambda其实就是一条语句，lambda(x):body。x是lambda函数的参数，参数可以有任意多个(包括可选参数);body是函数体，只能是一个表达式，并且直接返回该表达式的值。>>>f=lambda x:x+1>>>f(2)3>>>(lambda x,y:x+y)(2,3)5 2.filter filte...
2018-07-13 19:10:09
360
转载 解决spark-shell输出日志信息过多
当我们执行Spark-shell的时候，会出现如下界面，如果觉得显示信息过多可通过修改conf文件夹下的log4j.properties文件让其只显示警告信息，而不显示所有的信息1。 解决方案进入到spark目录/conf文件夹下，此时有一个log4j.properties.template文件，我们执行如下命令将其拷贝一份为log4j.properties，并对log4j.properties文...
2018-07-13 17:55:19
1578
转载 如何运行含spark的python脚本
first.py如下rom pyspark import SparkConf, SparkContextconf = SparkConf().setMaster("local").setAppName("My App")sc = SparkContext(conf = conf)lines = sc.textFile("first.py")pythonLines = lines.filte...
2018-07-13 17:53:26
1387
转载 剑指offer（C++）——链表中环的入口结点
代码如下：struct ListNode { int val; struct ListNode *next; ListNode(int x) :val(x), next(NULL) {}}; /*思路：设置两个指针p1和p2，如果链表中有n个结点，指针p1先向前移动n个结点，然后两个指针以相同速度向前移动，当两个指针相遇的结点就是环的入口结点。如何统计环中结点个数n：设置一快一慢两个...
2018-07-11 20:46:07
437
转载 leetcode 算法解析（一）：260. Single Number III（C++版本和自己的注解）
这个题来自《剑指offer》但是书上上感觉讲解不太详细，还是看博客吧（我把下面博客改写成了C++版本运行通过）注意这个题的相关代码中，输入的数组只能有两个数出现一次，如果有第三个数出现一次，那么这个代码就会失效。总结下算法思路：假设原始数组中只出现一次的元素是A和B，原始数组为{A,E,C,D,C,D,E,B}主要是利用异或的交换律。先把所有数字按次序进行异或运算，得到的结果必然是A⊕B，因为其他...
2018-07-11 14:52:20
495
转载 面试题之丑数的C++实现求解（孤陋寡闻了，才知道丑数这么high的东东）
问题描述： 我们把只包含因子2、3和5的数称作丑数（Ugly Number）。例如6、8都是丑数，但14不是，因为它包含因子7。习惯上我们把1当做是第一个丑数。求按从小到大的顺序的第1500个丑数。（昨天突然发现个不错的博客：http://blog.csdn.net/v_JULY_v，突然知道丑数这个题，于是搜之） 当然，最简单的肯定是遍历啊，想当年初学的时候，什么水仙花数，完数，...
2018-07-10 17:02:54
748
ngrok-stable-linux-amd64.zip
2019-11-18
VBoxGuestAdditions_5.2.18.iso
2019-04-27
pearson证明卡方检验的原文-1900年
2018-12-07
用于ubuntu16.04下安装mongodb时缺少的库文件
2018-08-08
浙大版《概率论与数理统计》（第四版）第十一章实验数据、实验步骤与实验结果
2018-05-17
virtualbox-5.1_5.1.22-115126~Ubuntu~xenial_amd64.deb
2017-05-21
Visual Assist X 10.6.1823 破解版
2012-02-05
MSP仿真器（支持FET430PIF、FET430UIF、MSP430BSL对MSP430芯片进行编程）
2011-03-28
《半导体集成电路课》朱正涌（第二版）课后习题答案仿真（第四章）
2010-06-18
无warning无error，但不知为何没有输出的代码，求指点~
2015-09-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人