- 博客(23)
- 收藏
- 关注
RSS订阅转载 Spark sbt configure and examples
使用sbt 0.13.5wget http://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.5/sbt-launch.jar新建sbt脚本在/usr/local/sbt/ 下 并加入执行权限。#!/bin/bashSBT_OPTS="-Xms512M -Xmx1536M -Xss1...
2019-04-10 12:30:00
92
转载 vimrc 配置
set nocompatible " requiredfiletype on " required" set the runtime path to include Vundle and initializeset rtp+=~/.vim/bundle/Vundle.vimcall vundle#begi...
2019-04-09 09:12:00
125
转载 github 使用 记录
echo "# pull-test">> README.mdgit initgit add README.mdgit add *git commit -m "first pull some file"git config --global user.name "lyc10031"git config --global user.email "[email protected]"...
2019-03-26 09:37:00
109
转载 Python 环境安装
安装依赖：debian 系统 build-essentialyum groupinstall 'Development Tools'yum install -yncurses-libs zlib-devel mysql-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-...
2019-02-27 09:29:00
142
转载 python 使用中遇到的问题，记录及解决方法
1、读取configparser 配置文件报错 ：提示：ConfigParser.MissingSectionHeaderError when parsing rsyncd config file with global options解决方法：https://stackoverflow.com/questions/22501121/configparser-mis...
2019-01-10 18:28:00
179
转载 ubuntu 1804 安装hadoop 2.7.7及配置文件说明
创建hadoop用户同时指定使用 /bin/bash 作为 hadoop的shell：useradd -m hadoop -s /bin/bash为hadoop 设置密码。sudo passwd hadoop为 hadoop 用户增加管理员权限，方便部署sudo adduser hadoop sudo下载文件：wget https://mirrors.cnni...
2018-11-23 09:22:00
218
转载 Python 数据分割函数
1 2 def split_data(data, prob): 3 """分割数据 4 split data into fractions [prob, 1 - prob]""" 5 results = [], [] 6 for row in data: 7 """ 8 ...
2018-11-21 17:48:00
1399
转载 pyspark 使用jdbc 连接mysql 数据库报错 Access denied for user 'root'@'localhost'
在使用jdbc开启pyspark shell下载jar包：https://dev.mysql.com/downloads/connector/j/tar -zxf mysql-connector-java-8.0.13.tar.gz /usr/local/spark/jars/在启动pyspark 时 指定--jars参数pyspark --jars /usr/lo...
2018-11-20 16:21:00
369
转载 pyspark 学习 Tips
注意在pyspark中，要加载本地文件，必须采用“file:///”开头的这种格式执行第一条命令以后，并不会马上显示结果，因为，Spark采用惰性机制，只有遇到“行动”类型的操作，才会从头到尾执行所有操作。所以，下面我们执行一条“行动”类型的语句，就可以看到结果eg:1 lines = sc.textFile('file:///usr/local/spark/mycode/...
2018-10-24 11:26:00
71
转载 python报错提示及解决方法
1、启动jupyter notebook报错：Hi, I have followed the install as described, but receive the following error on issuing 'jupyter notebook'File "/usr/local/lib/python3.6/os.py", line 220, in makedirs ...
2018-10-18 10:13:00
387
转载 设置pyspark 启动时所使用的python版本
以下操作均为使用非root用户进行。vim ~/.bashrc在文件中添加：export PYSPARK_PYTHON=/usr/local/bin/python3指定pyspark启动时使用的python版本，#export PYSPARK_DRIVER_PYTHON=ipython3指定启动pyspark后的交互式界面，使用ipython3作为...
2018-10-18 10:08:00
445
转载 Dockerfile 编写
预计搭建一个docker 镜像 集成python3 、selenium 和chrome使用centos 或者ubuntu 最为基础镜像 搭建的环境比较大。后来发现了alpine 系统镜像。基础镜像只有4M大小。然后根据实际需要的环境去进行软件包的安装。编写Dockerfile 文件搭建镜像可以进一步压缩镜像大小。Dockerfile内容如下：FROM alpine...
2018-10-11 11:16:00
95
转载 配置linux centos7.5系统 关机前执行指定脚本
为了实现在关机前执行脚本 在网上查了很久都没找到解决方法。最后还是Google 帮了忙。参考了以下链接：https://unix.stackexchange.com/questions/39226/how-to-run-a-script-with-systemd-right-before-shutdownhttps://opensource.com/life/16/11/...
2018-09-29 16:35:00
505
转载 pyspark 下 Spark Streaming 启动监听文件流 时报错及解决方法。
写好对文件流的监听脚本执行ssc.start() 时报错显示：An error occurred while calling z:org.apache.spark.streaming.api.python.PythonDStream.callForeachRDD.无法启动监听进程在环境变量中添加：export SPARK_YARN_USER_ENV=PATHONHAS...
2018-09-27 16:08:00
408
转载 python 学习资源总结
Python Tips Beautiful Soup许多值得注意和学习的python编程技巧的总结http://book.pythontips.com/en/latest/index.html Beautiful Soup 4.2.0 中文文档， 用于解析网页的库https://www.crummy.com/software/BeautifulSoup/bs4/do...
2018-09-20 16:22:00
85
转载 python 常用函数之enumerate()
Python的enumerate函数是一个神话般的存在，以至于它很难用一句话去总结它的目的和用处。但是，它是一个非常有用的函数，许多初学者，甚至中级Pythonistas是并没有真正意识到。简单来说，enumerate()是用来遍历一个可迭代容器中的元素，同时通过一个计数器变量记录当前元素所对应的索引值。示例：1 names = ['Bob', 'Alice'...
2018-09-20 16:14:00
94
转载 hadoop 命令总结
hdfs namenode -format# 首次运行需要执行初始化，之后不需start-dfs.sh 启动Datanode 在master节点启动 NameNode、SecondaryNameNode（如果master也作为DataNode 的话还会启动DataNode），在slave节点启动DataNodestop-dfs.sh 关闭Datanode...
2018-09-13 17:38:00
63
转载 linux dd命令
dd是Linux/UNIX下的一个非常有用的命令，作用是用指定大小的块拷贝一个文件，并在拷贝的同时进行指定的转换。把Arch Linux的镜像刻到U盘/dev/sdc中：lgl@pArch ~/Downloads $ sudo dd if=archlinux-2016.04.01-dual.iso of=/dev/sdc bs=512k此时，在另一个shel...
2018-09-06 11:54:00
90
转载 Python的三元表达式
Python的and or操作代码参考：1 == 1 and 2 or 3 返回21 == 2 and 2 or 3 返回3PS：习惯于if else的同学偶尔用下and or是不是会给人耳目一新的感觉。and or 分开来用[x] and 用法如下：1 and 2 and 3 返回31 and 2 and...
2018-09-06 09:58:00
127
转载 安装asterisk 时遇到的报错情况，及解决办法。
Debian 9 安装 asteriskhttps://linuxize.com/post/how-to-install-asterisk-on-debian-9/configure 过程中遇到的问题具体安装过程，网上说明很多，仅仅记录中间遇到的问题及解决办法1） configure 过程中，提示 uuid support not found(this ...
2018-09-05 09:47:00
1306
转载 grep 命令学习
有必要好好学习总结下grep 命令的用法了参考鸟哥的linux私房菜 中关于grep命令的讲解进行总结。使用方法： grep [-acivn] [--color=auto] ‘想要搜索的字符’ filename参数：-a： 以text文件搜索数据-c： 计算字符串出现的次数-i： 忽略大小写搜索-n： 输出字符串及对应的行号-v： 取反操作--...
2018-09-05 09:34:00
120
转载 linux系统改变导致ssh 连接失败的解决方法
连接linux时失败，报错显示：@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@...
2018-09-04 17:03:00
328
转载 编译opencv2.0报错，解决方法
编译opencv2.0的时候，make 后遇到如下情况：libtool eval: 1: libtool_args+=: not foundlibtool eval: 1: libtool_args+=: not foundlibtool eval: 1: compile_command+=: not foundlibtool eval: 1: finalize_command+=...
2018-09-04 16:56:00
127
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人