- 博客(54)
- 收藏
- 关注
RSS订阅转载 <Linux> wc命令
<Linux> wc命令 Linux wc命令用于计算字数。利用wc指令我们可以计算文件的Byte数、字数、或是列数，若不指定文件名称、或是所给予的文件名为"-"，则wc指令会从标准输入设备读取数据。语法 wc [-clw][--help][-...
2019-05-04 22:29:00
177
转载 【HDFS API编程】图解客户端写文件到HDFS的流程
【HDFS API编程】图解客户端写文件到HDFS的流程 posted on 2019-04-25 20:04Liuyt_61 阅读(...) 评论(......
2019-04-25 20:04:00
175
转载 【HDFS API编程】图解客户端从HDFS读数据的流程
【HDFS API编程】图解客户端从HDFS读数据的流程 posted on 2019-04-25 20:03Liuyt_61 阅读(...) 评论(......
2019-04-25 20:03:00
186
转载 【HDFS API编程】删除文件
【HDFS API编程】删除文件 所有操作都是以fileSystem为入口进行，我们使用fileSystem下的delete方法进行删除文件操作，删除的时候必须慎重。直接上代码： /** * 删除文件 * @throws Exc...
2019-04-20 21:57:00
405
转载 【HDFS API编程】查看文件块信息
【HDFS API编程】查看文件块信息 现在我们把文件都存在HDFS文件系统之上，现在有一个jdk.zip文件存储在上面，我们想知道这个文件在哪些节点之上？切成了几个块？每个块的大小是怎么样？先上测试类代码： /** * 查看文件块信息 ...
2019-04-20 21:50:00
325
转载 【HDFS API编程】查看目标文件夹下的所有文件、递归查看目标文件夹下的所有文件...
【HDFS API编程】查看目标文件夹下的所有文件、递归查看目标文件夹下的所有文件 使用hadoop命令：hadoop fs -ls /hdfsapi/test 我们能够查看HDFS文件系统/hdfsapi/test目录下的所有文件信息那么使用代码怎么写呢？直...
2019-04-20 21:28:00
540
转载 【HDFS API编程】从本地拷贝文件，从本地拷贝大文件，拷贝HDFS文件到本地
【HDFS API编程】从本地拷贝文件，从本地拷贝大文件，拷贝HDFS文件到本地 接着之前继续API操作的学习CopyFromLocalFile: 顾名思义，从本地文件拷贝/** * 使用Java API操作HDFS文件系统 * 关键点: *...
2019-04-20 20:33:00
278
转载 【HDFS API编程】副本系数深度剖析
【HDFS API编程】副本系数深度剖析 上一节我们使用Java API操作HDFS文件系统创建了文件a.txt并写入了hello hadoop（回顾：https://www.cnblogs.com/Liuyt-61/p/10739018.html）我们在终端控...
2019-04-19 22:22:00
164
转载 【HDFS API编程】查看HDFS文件内容、创建文件并写入内容、更改文件名
【HDFS API编程】查看HDFS文件内容、创建文件并写入内容、更改文件名 首先，重点重复重复再重复：/*** 使用Java API操作HDFS文件系统* 关键点:* 1)创建 Configuration* 2)获取 FileSystem* 3).....
2019-04-19 21:42:00
1496
转载 【HDFS API编程】jUnit封装-改写创建文件夹
【HDFS API编程】jUnit封装-改写创建文件夹 首先：什么是jUnit 回顾： https://www.cnblogs.com/Liuyt-61/p/10374732.html上一节我们知道：/*** 使用Java API操作HDFS文件系...
2019-04-19 19:02:00
93
转载 【HDFS API编程】第一个应用程序的开发-创建文件夹
【HDFS API编程】第一个应用程序的开发-创建文件夹 /*** 使用Java API操作HDFS文件系统* 关键点:* 1)创建 Configuration* 2)获取 FileSystem* 3)...剩下的就是 HDFS API的操作了*/先上...
2019-04-19 17:42:00
226
转载 CentOS7 JDK1.8部署详解
CentOS7 JDK1.8部署详解 一、下载首先需要将本地下载好的jdk包拷贝到Linux中：scp jdk-8u91-linux-x64.tar.gz hadoop@192.168.***.***:~/software///星号处地址是你虚拟机中的Cen...
2019-04-16 16:43:00
112
转载 【亲测】解决虚拟机CentOS7联网ping不通相关问题（通俗易懂）
【亲测】解决虚拟机CentOS7联网ping不通相关问题（通俗易懂） 对于是使用windows操作系统的小伙伴来说（mac用户忽略），要学习一些技术可能需要使用Linux系统，自然就需要使用虚拟机安装Linux，当然现在很多主流的学习网站上的教程都会提供老师配置好的...
2019-04-16 14:40:00
529
转载 坏台阶问题
坏台阶问题 题：一个人走了很多年，发现自己走到一个很长的，年久失修的楼梯面前。年久失修的意思就是，有k个台阶坏了，没法走。楼梯一共有n层，你一次能上一阶、两阶或三阶台阶，请问，你从楼梯底部（0开始）走到楼梯顶部，共有多少种走法。输入格式输入数据共两行，第...
2019-03-20 01:19:00
1241
转载 解决idea下载依赖包慢到出奇
解决idea下载依赖包慢到出奇 右键项目选中maven选项，然后选择“open settings.xml”或者 “create settings.xml”，然后把如下代码粘贴进去就可以了。重启IDE。 1 <?xml version="1.0" enc...
2019-02-14 16:16:00
325
转载 解决idea创建Maven项目卡在running tmp archetypexxxtmp
解决idea创建Maven项目卡在running tmp archetypexxxtmp 打开IDEA settings然后在VM Options内添加-DarchetypeCatalog=internal 运行参数 ...
2019-02-14 16:13:00
649
转载 【HDFS API编程】开发环境搭建
【HDFS API编程】开发环境搭建 使用HDFS API的方式来操作HDFS文件系统 IDEA Java 使用Maven来管理项目先打开IDEA，New Project创建GAV然后next默认使用的有idea内置的Ma...
2019-02-14 16:10:00
225
转载 junit 基础使用
junit 基础使用 junit百度百科： JUnit是一个Java语言的单元测试框架。它由Kent Beck和Erich Gamma建立，逐渐成为源于Kent Beck的sUnit的xUnit家族中最为成功的一个。 JUnit有它自己的JUnit扩展生态圈。...
2019-02-14 15:10:00
78
转载 格式化hdfs后，hadoop集群启动hdfs，namenode启动成功，datanode未启动
格式化hdfs后，hadoop集群启动hdfs，namenode启动成功，datanode未启动 集群格式化hdfs后，在主节点运行启动hdfs后，发现namenode启动了，而datanode没有启动，在其他节点上jps后没有datanode进程！原因： ...
2019-02-10 19:33:00
321
转载 CentOS 7 实现ssh无密码登录
CentOS 7 实现ssh无密码登录 cd ~ 进入根目录。(使用ls -a或者 ls -la 能够看到当前文件夹下的所有文件包含隐藏文件夹等)我们首先使用ls -la 发现并没有.ssh的文件夹存在。在终端输入 ssh localhost会...
2019-02-10 16:50:00
113
转载 使用wifi ssh: connect to host hadoop000 port 22: No route to host
使用wifi ssh: connect to host hadoop000 port 22: No route to host 使用的wifi，在wifi下IP会自动分配。先尝试能否ping通，如果都无法ping通那先把IP配置那些先搞定ping通之后遇到此...
2019-02-10 16:38:00
336
转载 ssh Socket error Event: 32 Error: 10053.
ssh Socket error Event: 32 Error: 10053. 在家用的WiFi，把电脑从房间搬到餐厅来用发现用我的xshell不能用ssh连接了，报错Socket error Event: 32 Error: 10053.同时在自己物理机上i...
2019-02-03 16:34:00
3844
转载 Linux网络管理-相关笔记【自用】
Linux网络管理-相关笔记【自用】 ISO/OSI七层模型应用层 APDU 应用层协议数据单元 越靠近用户表示层 PPDU 表示层协议数据单元会话层 SPDU 会话协议数据单元传输层 ...
2019-01-25 01:00:00
65
转载 关于Git的一些总结【自用】
关于Git的一些总结【自用】 创建ssh keyssh-keygen -t rsa -C "邮箱"cat is_rsa.pub 获取public keyssh -T git@github.com 测试是否与github连接添加远程仓库将本地仓库与远程github...
2019-01-09 18:22:00
70
转载 Git工作流基础简介【与产品经理.jpg】
Git工作流基础简介【与产品经理.jpg】 基于可视化界面的操作可使用Sourcetree这个软件进行操作。下面将描绘的几个命令主要是git init git addgit commitgit status git reset HEAD...
2019-01-08 15:37:00
95
转载 IDEA 快捷操作 Windows
IDEA 快捷操作 Windows 1、查找Action ctrl+shift+A ；可通过其查询其他操作快捷键等。2、项目之间跳转：ctrl+shift+[ 与 ctrl+shift+]3、alt + 数字 展开对应窗口4、文件...
2019-01-08 11:43:00
147
转载 不带头结点的单链表的创建、插入、删除。
不带头结点的单链表的创建、插入、删除。 #include<stdio.h>#include<stdlib.h>typedef struct node{ int data; node *next;}node;//创建不带头结点的单链...
2019-01-03 20:04:00
5980
转载 二叉树的深度
二叉树的深度 题目：输入一棵二叉树，求该树的深度。从根结点到叶结点依次经过的结点（含根、叶结点）形成树的一条路径，最长路径的长度为树的深度。解答：/**public class TreeNode { int val = 0; Tre...
2019-01-03 19:34:00
57
转载 【Python爬虫实战】pywin32 安装后出现 import win32api ImportError DLL load failed
【Python爬虫实战】pywin32 安装后出现 import win32api ImportError DLL load failed windows下执行scrapy 的指定的时候出现错误，最初出现错误 提示没有pywin32 那么就去安装了一个py...
2017-12-18 00:22:00
419
转载 【Python爬虫实战】Scrapy框架的安装 搬运工亲测有效
【Python爬虫实战】Scrapy框架的安装 搬运工亲测有效 windows下亲测有效 http://blog.csdn.net/liuweiyuxiang/article/details/68929999这个我们只是正确操作步骤详解的搬运工 ...
2017-12-14 22:05:00
62
转载 【Python爬虫实战】多线程爬虫---糗事百科段子爬取
【Python爬虫实战】多线程爬虫---糗事百科段子爬取 多线程爬虫：即程序中的某些程序段并行执行，合理地设置多线程，可以让爬虫效率更高糗事百科段子普通爬虫和多线程爬虫分析该网址链接得出：https://www.qiushibaike.com/8hr/page/...
2017-12-14 22:03:00
206
转载 【Python爬虫实战】微信爬虫
【Python爬虫实战】微信爬虫 所谓微信爬虫，即自动获取微信的相关文章信息的一种爬虫。微信对我们的限制是很多的，所以我们需要采取一些手段解决这些限制主要包括伪装浏览器、使用代理IP等方式http://weixin.sogou.com/微信网站的限制还是很多的，...
2017-12-14 22:00:00
203
转载 【Python爬虫实战】 图片爬虫-淘宝图片爬虫--千图网图片爬虫
【Python爬虫实战】 图片爬虫-淘宝图片爬虫--千图网图片爬虫 所谓图片爬虫，就是从互联网中自动把对方服务器上的图片爬下来的爬虫程序。有些图片是直接在html文件里面，有些是隐藏在JS文件中，在html文件中只需要我们分析源码就能得到如果是隐藏在JS文件中，...
2017-12-14 21:47:00
277
转载 【Python爬虫实战】 使用代理服务器
【Python爬虫实战】 使用代理服务器 代理服务器：是一个处于我们与互联网中间的服务器，如果使用代理服务器，我们浏览信息的时候，先向代理服务器发出请求，然后又代理服务向互联网获取信息，再返回给我们使用代理服务器进行信息爬取，可以很好的解决IP限制的问题就像爬取微信...
2017-12-14 15:35:00
173
转载 【Python】python3 正则爬取网页输出中文乱码解决
【Python】python3 正则爬取网页输出中文乱码解决 爬取网页时候print输出的时候有中文输出乱码例如：\\xe4\\xb8\\xad\\xe5\\x8d\\x8e\\xe4\\xb9\\xa6\\xe5\\xb1\\x80#爬取ht...
2017-12-03 19:23:00
220
转载 【python】python函数式编程、高阶函数
【python】python函数式编程、高阶函数 1、map() : python内置的高阶函数，接收一个函数f和一个list，并通过把函数f依次作用在list的每个元素上，得到一个新的list并 返回。1 def f(x)...
2017-11-28 17:25:00
68
转载 【python】python与正则 re的主要用到的方法列举
【python】python与正则 re的主要用到的方法列举 【直接上代码】#coding=utf-8#1、先将正则表达式的字符串形式编译为Pattern实例#2、使用Pattern实例处理文本并获得匹配结果#3、最后使用Match实例获得消息，进行其他...
2017-11-24 23:38:00
63
转载 <spark> hadoop/spark 集群搭建
<spark> hadoop/spark 集群搭建 参考的这3个文档，虽然搭建花了挺长时间也遇到挺多问题，但是这3个文档对我的帮助确实挺大，如果有兴趣的或者有需要的可以参考以下文档。http://blog.csdn.net/wy25022916...
2017-06-08 23:47:00
82
转载 <spark> error：启动spark后查看进程，进程中master和worker进程冲突
<spark> error：启动spark后查看进程，进程中master和worker进程冲突 启动hadoop再启动spark后jps，发现master进程和worker进程同时存在，调试了半天配置文件。测试发现，当我关闭hadoop后 wo...
2017-06-08 23:43:00
564
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人