- 博客(29)
- 资源 (11)
- 收藏
- 关注
原创 Spark Transformation 简介
说明本片简单介绍一下 Spark Transformation 以及一些常用的 Transformation,由于刚开始接触,内容较少,后续持续完善。 参考资料: 慕课网视频: http://www.imooc.com/video/14397/0 知乎讨论(flatMap 与 Map)https://www.zhihu.com/question/34548588?sort=creat
2017-03-25 21:18:19 845
原创 Spark 安装 及 HelloWorld
说明本篇主要介绍 Spark 的安装 及 HelloWorld程序(其实是计算一个文件的行数)。 环境: spark-2.1.0-bin-hadoop2.6.tgz安装Spark 其实属于免安装,所有的安装过程只不过是解压:tar -zxvf spark-2.1.0-bin-hadoop2.6.tgzHello WorldSpark可以进入到shell环境中进行操作,提供有 pySpark 和 s
2017-03-25 15:45:00 2421
原创 Hadoop 环境配置问题汇总(持续更新)
说明虽然已经写了一篇 ubuntu 下安装 Hadoop 的教程,但是有时安装Hadoop还是会出现一些环境配置的问题,将遇到的问题及解决办法在此进行汇总记录。同时,欢迎大家分享自己遇到的问题及解决办法。问题及解决办法JAVA_HOME 已经设置,但仍报错未设置集群模式的一个问题,需要在 hadoop-env.sh 中将 $JAVA_HOME 重新声明。启动 hdfs 时报错 IP: Host ke
2017-03-25 00:41:12 809
转载 Ubuntu中root用户和user用户的相互切换
原文链接: http://www.cnblogs.com/weiweiqiao99/archive/2010/11/10/1873761.htmlUbuntu是最近很流行的一款Linux系统,因为Ubuntu默认是不启动root用户,现在介绍如何进入root的方法。(1)从user用户切换到root用户不管是用图形模式登录Ubuntu,还是命令行模式
2017-03-24 23:14:22 593
转载 ubuntu 安装 jdk 1.8
安装 jdk 1.8添加软件源sudo add-apt-repository ppa:webupd8team/java更新软件源sudo apt-get update安装 jdk1.8sudo apt-get install oracle-java8-installer查看 java 安装路径sudo update-alternatives --config javasudo up
2017-03-24 23:02:53 527
转载 ubuntu将openjdk7升级到openjdk8
添加openjdk8的第三方源sudo add-apt-repository ppa:openjdk-r/ppa执行更新apt-get update安装openjdk8sudo apt-get install openjdk-8-jdk选择版本sudo update-alternatives –config Java有 2 个候选项可用于替换 java (提供 /usr/bin/ja
2017-03-23 22:56:06 632
原创 Ubuntu 无法解析域名
说明Ubuntu下出现无法解析域名的情况,导致wget或其他针对域名的操作无法完成,但是 ping 对应的IP却能ping通,属于DNS配置问题。解决办法修改 /etc/resolv.conf 添加内容 nameserver 8.8.8.8 增加 DNS。但是,上述方法会在重启后被清除,导致再次开机时需要重新配置,经过查阅网上资料,方法很多种,比较有效的就是,直接卸载掉开机重写该文件的 resolv
2017-03-23 22:41:25 29416 7
原创 Hadoop 从 hdfs 中拷出文件权限不够
问题描述使用 -get 命令从 hdfs 中拷出文件时,提示权限不够,如下:hadoop@localhost:/usr/local/hadoop$ hadoop fs -get /input/LICENSE.txt /home/daniel/tmp/# get: /home/daniel/tmp/LICENSE.txt._COPYING_ (权限不够)问题分析可能出现问题的原因有三方面
2017-03-22 23:19:13 7586
原创 hadoop 基础命令
HDFS 文件操作命令创建文件夹:hadoop fs -mkdir /input查看文件夹:hadoop fs -ls /input将文件放入hdfs:hadoop fs -put file.txt /input/从hdfs中拷出文件: hadoop fs -get /input/file.txt /home/daniel/tmp/查看hdfs中文件:hadoop fs -cat /inp
2017-03-22 23:08:50 850
原创 Hadoop 2.6 - WordCount
说明对于Hadoop而言,WordCount 相当于其他编程语言的Hello World。本文通过运行Hadoop 2.6 自带的 wordCount 实例,完成一次入门级的 Map Reduce 作业。WordCount 即通过 Map Reduce 对输入中的内容进行分词并计算每个单词出现的次数。WordCounthadoop jar $HADOOP_HOME/share/hadoop/mapr
2017-03-22 22:56:30 479
原创 Ubuntu_Hadoop_v2.6环境搭建
参考http://www.powerxing.com/install-hadoop/在原文基础上做了些许调整。安装环境: ubuntu 14.04 ,64位 下载: Oracle JDK 1.7 hadoop2.60、新增操作系统用户sudo useradd -m hadoop -s /bin/bashsudo passwd hadoopsudo adduser hadoop sud
2017-03-21 21:19:28 359
转载 pyspider 爬虫教程(一):HTML 和 CSS 选择器
原文链接: https://binux.blog/2015/01/pyspider-tutorial-level-1-html-and-css-selector/虽然以前写过 如何抓取WEB页面 和 如何从 WEB 页面中提取信息。但是感觉还是需要一篇 step by step 的教程,不然没有一个总体的认识。不过,没想到这个教程居然会变成一篇译文,在这个爬虫教程系列文章中
2017-03-18 22:01:12 1543
原创 解决 pyspider的 css_selector_helper 无法使用
说明 本文针对正常安装 pyspider 后无法使用 css_selector_helper 的问题进行解决,可能不适合所有情况,但大部分情况是如此的。问题分析无法使用 css_selector_helper打开浏览器开发者工具,发现网络标签中存在ERR_TIME_OUT …… css_selector_helper.js的问题,说明css_selector_helper.js加载超时;
2017-03-18 12:05:24 2885
原创 ubuntu 安装 pyspider
说明 pyspider 是 python 语言的一个爬虫工具,提供有GUI界面,可以在web界面中制定任务、爬取数据和导出结果。由于刚开始接触,无法介绍太多,以上是根据安装过程中看到的一些资料的整体印象。 如果你用的是 ubuntu 14.0.4 等低版本的 Linux 系统,系统自带的 python 可能不是最新版(如 2.7.6 ),这时,一定不要更换国内源,否则安装过程中会有一堆
2017-03-18 10:40:18 2644
原创 windows 安装 python 及 pip
说明windows 不像Linux、Mac OS一样自带 python,需要到官网单独下载安装包进行安装。pip也是一样,windows下需要单独下载安装,不过好在都比较简单和傻瓜式。安装python下载:进入 python 官网,下载最新的 windows 版的 python 安装包;(由于之前已安装过,懒得卸载了,我用的还是老版本的 2.7)安装:直接运行安装程序,一直下一步即可;配置:安
2017-03-18 00:38:56 830
原创 ubuntu 安装 pip 及 pip 常用命令
说明 pip是一个安装和管理Python包的工具。在Pip的帮助下,你可以安装独特版本的包。最重要的是,Pip可以通过一个“requirements”的工具来管理一个由包组成的列表和版本号。Pip很像easy_install,但是Pip有一些额外的特色。ubuntu 安装pip# 建议在操作前将源替换为 163 或 阿里 的源# 1. 更新系统包sudo apt-get updatesud
2017-03-17 23:20:59 92004 2
转载 合并多个dll
原文地址: http://www.cnblogs.com/xm_cpppp/p/3626025.html步骤一:先下载微软的工具 ilmerge.exe 地址:http://www.microsoft.com/en-us/download/details.aspx?id=17630步骤二:安装好之后 开始→ 运行 → cmd →D:\Program\Microsoft\ILMerge\ILMerge
2017-03-17 16:53:42 1703 1
原创 Python 博文目录(无内容)
本篇是为了方便自己记录,无实质内容,请无视!!!TODOpython 开发环境安装(Mac、Linux、Windows)pip 安装使用(安装、升级、卸载第三方包)pyspider 安装使用demo集群化urllib获取网页内容mysql数据库操作 执行sql语句批量操作sql模拟浏览器进行登陆…
2017-03-17 13:29:05 570
原创 Java 通过 JNI 调用 C/C++ 类库
说明由于一些涉及到设备或底层操作的类库,大多是C或C++语言编写的,对于Java Web开发者,在涉及到相应的项目中,不可能再去将相应的类库用Java重写。这时,就需要通过Java代码去调用C/C++的类库来完成工作。操作环境: - JDK 1.8.0_45 - Eclipse - Visual Studio 2013注意: demo中的文件路径需要加以注意!!!演示实现整体目标通过Java调
2017-03-16 22:48:48 8940
原创 Excel 宏与VBA-01-宏基础知识
说明13年的时候开始接触的一些大牛让我意识到 Excel 的精通与入门的差异,Excel是一个很好的便捷的数据处理工具,一方面是因为其本身功能的完善,另一方面是因为office 的普遍性,几乎所有Windows电脑上都装有Excel,无需在使用时再单独安装。 近期由于需要对自己的一些理财数据进行反思,又重新捡起Excel(因为银行导出的数据是csv格式的O-O)。 本篇主要介绍Excel中宏的创
2017-03-16 21:45:25 3000
原创 CCNA学习日记-05-设备启动配置与基础操作
简介 本文主要介绍PacketTracer中对设备进行如下操作: 1. 查看当前配置与启动配置文件 2. 修改设备配置(修改设备名称、设置设备密码等) 3. 保存当前配置到启动到启动配置文件 4. 重启设备查看运行配置与启动配置文件本文以 2950-24 交换机为例进行演示,使用 PacketTracer 7.0 模拟器。 设备有startup-config
2017-03-14 22:16:30 1009
原创 CCNA学习日记-04-PacketTracer基础命令
简介 本文将简单介绍一些 PacketTracer中在设备CLI界面的一些基本命令。 阅读过程中,注意区分命令执行时所处的模式,show *查看状态类命令很多在用户模式 和终端模式 下都可以执行,但一般还是在终端模式下操作。PacketTracer基础命令修改设备名称: r# hostname NEW_NAME配置接口IP: r(config-if)# ip address 192.
2017-03-14 21:42:21 669
原创 CCNA学习日记-03-初始PacketTracer
简介 PacketTracer是Cisco出的一款模拟器软件,可以模拟设置PC、路由器、交换机、连接网线等。在线提供免费下载,目前出到 7.0 版本,能够满足NA的基本学习需求,但是有一些高级功能并不支持。 本篇博文主要简单记录一些个人学习CCNA过程中的关于PacketTracer的一些基础知识,比较零散。路由器开机过程 在模拟器中添加一个 2621XM Router ,并在启
2017-03-14 21:36:50 664
原创 CCNA学习日记-02-RJ45线缆介绍
简介 RJ 45 是线缆接头方式中的一种分类,主要用于网络数据通信,也就是我们最常见的 网线。(类似的有用于电话的RJ 11接法等)RJ 45 接线法与分类RJ 45 有 T-568B 、T-568A两种线序接法,线序分别为: T-568B: 橙白 橙 绿白 蓝 蓝白 绿 棕白 棕 ;T-568A: 绿白 绿 橙白 蓝 蓝白 橙 棕白 棕 ;直通线与交叉线T-568B 与 T-568
2017-03-13 22:56:07 704
原创 CCNA学习日记-01-简介
说明 最近对网络比较感兴趣,也因为工作的原因,需要补充一些网络知识,最近开始了解相关的知识与培训,为了避免以往的学过就忘的问题,打算写下博文作为记录,方便以后查阅,同时作为分享,如有错误,欢迎指正。相关背景 通过与一些网络工程师朋友聊天沟通,网络方面认证比较知名的属于Cisco、华为、华三三家公司。 价格:Cisco > 华为 > 华三 ; (依次便宜30%左右,未亲自考证)
2017-03-13 22:32:26 512
转载 Matlab中几种括号的区别
原文链接: http://blog.sina.com.cn/s/blog_618af1950100lbc3.htmlMatlab中经常会用到括号去引用某Array或者是cell的内容,但三者有什么具体区别呢? [ ] 中括号用来构建向量(Vectors)或者是矩阵(Matrices)。如[6.9 9.64 sqrt(-1)] 就是一个有三个元素的向量。 [11 12 13; 21 22 23]
2017-03-13 21:36:59 8108
转载 (转)FFmpeg 基本用法
FFmpeg 基本用法本课要解决的问题1.FFmpeg的转码流程是什么?2.常见的视频格式包含哪些内容吗?3.如何把这些内容从视频文件中抽取出来?4.如何从一种格式转换为另一种格式?5.如何放大和缩小视频?6.如何旋转,翻转,填充,裁剪,模糊,锐化视频?7.如何给视频加logo,删除logo?8.如何给视频加文本,动态文本?9.如何处理图片?10.如何录像,添加动态logo,截图,马赛克视频?第一部
2017-03-13 13:46:25 31235 1
原创 Matlab 手记
最近有事用到了Matlab,顺便学习了一下,本着不浪费的精神,把其中觉得可能用得到的知识点记录一下。比较零散,有机会再整理。基础知识如果已知函数名,想知道函数用法和功能,直接 help funcName 即可,有详细的介绍及demo。对于多个 *.m 文件共同工作的,只要放在同一个文件夹下,会自动关联,无需像java等其他语言那样显示调用。(系统类库也是会自动加载)数据变量一般保存在 *.ma
2017-03-12 20:08:04 367
原创 Windows下计算文件摘要信息MD5、SHA-1、SHA-256
命令行:> certutil -hashfile FileName.ext MD5> certutil -hashfile FileName.ext SHA1> certutil -hashfile FileName.ext SHA256
2017-03-03 17:05:04 2152
curl-7.33.0-win64-ssl-sspi
2016-08-08
MyBatis Generator 1.3.2精简版
2016-08-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人