- 博客(59)
- 收藏
- 关注
RSS订阅转载 I/O密集型和CPU密集型工作负载之间有什么区别
我们可以把任务分为计算密集型和IO密集型。计算密集型任务的特点是要进行大量的计算，消耗CPU资源，比如计算圆周率、对视频进行高清解码等等，全靠CPU的运算能力。这种计算密集型任务虽然也可以用多任务完成，但是任务越多，花在任务切换的时间就越多，CPU执行任务的效率就越低，所以，要最高效地利用CPU，计算密集型任务同时进行的数量应当等于CPU的核心数。计算密集型任务由于主要消耗CPU...
2019-08-30 16:13:00
202
转载 iOS----------文字逐个显示
参考文档：https://blog.csdn.net/et295394330/article/details/50529862转载于:https://www.cnblogs.com/KiVen2015/p/11433861.html
2019-08-30 11:06:00
726
转载 通过爬虫等手段，免费获取非小号和coinmarket的实时汇率等行情数据
1.非小号爬取非小号：通过抓取network，发现非小号的币价汇率接口，然后用程序拿这个返回的数据，就可以了。https://dncapi.bqiapp.com/api/coin/web-coinrank?page=1&type=-1&pagesize=100&webp=1当时觉得不能无限制这样请求，而且数据不会刷新得那么快，就自己写了一个缓存，设定N...
2019-08-29 11:14:00
1336
转载 js正则分组&引用&t贪婪&惰性
分组/(\d{4})-(\d{2})-(\d{2})/.test('2019-08-25') // trueRegExp.$1='2019'RegExp.$2='08'RegExp.$3='25'RegExp.$4=''RegExp.$_='2019-08-05'// 最多到RegExp.$9，没有$10，这本身是js的坑// 解决：...
2019-08-28 23:32:00
84
转载 Spark的Shuffle
0. Shuffle概述 要理解什么是Shuffle，首先介绍大数据与分布式。我们知道大数据的存储是分布式存储，大数据的计算框架是分布式的计算框架。分布式必然存在数据的交互传输，简言之Shuffle就是分布式中数据交互传输的过程。 如下图所示，Stage 0的输出数据需要经过shuffle Writer写出到Block中，Stage 1的输入数据需要从Block中读入，这一...
2019-08-27 15:01:00
60
转载 Spark中资源与任务的关系
在介绍Spark中的任务和资源之前先解释几个名词：Dirver Program：运行Application的main函数(用户提交的jar包中的main函数)并新建SparkContext实例的程序，称为驱动程序，通常用SparkContext代表驱动程序(任务的驱动程序)。Cluster Manager：集群管理器是集群资源管理的外部服务。Spark上现在主要有Standalo...
2019-08-26 23:33:00
251
转载 Spark集群任务提交流程----2.1.0源码解析
Spark的应用程序是通过spark-submit提交到Spark集群上运行的，那么spark-submit到底提交了什么，集群是怎样调度运行的，下面一一详解。0. spark-submit提交任务 0.1 启动脚本解析 分析spark-submit脚本源码可知最终该命令执行./bin/spark-class的Java类脚本，./bin/spark-class脚本启动...
2019-08-26 14:07:00
147
转载 Scrapy框架的下载与安装
一、下载scrapy首先，如果安装了anaconda, 可以直接在terminal窗口中输入：conda install scrapy在图示符中，输入y， 表示继续处理信息二、验证是否安装成功，输入scrapy转载于:https://www.cnblogs.com/zhichun/p/11411186.ht...
2019-08-26 10:42:00
406
转载 NameNode数据存储
HDFS架构图HDFS原理 1) 三大组件 NameNode、 DataNode 、SecondaryNameNode 2）NameNode 存储元数据（文件名、创建时间、大小、权限、文件与block块映射关系） 3）DataNode 存储真实的数据信息 4)Secon...
2019-08-22 20:31:00
1293
转载 hadoop历史服务的启动与停止
a.配置项(在分布式环境中配置) 1.RPC访问地址 mapreduce.jobhistory.address 2.HTTP访问地址 mapreduce.jobhistory.webapp.addressb.（伪分布式环境中直接使用即可） mr-jobhistory-daemon.sh start historyserver yarn...
2019-08-22 09:55:00
1257
转载 聚合日志
一：含义：<1>分布式计算作业放到NodeManager上运行，日志信息放在NodeManager本地目录:yarn.nodemanager.log-dirs:${yarn.log.dir}/userlogs<2>通过配置将本地日志放在HDFS服务器上，即聚合日志的概念二：配置：yarn-s...
2019-08-21 22:59:00
254
转载 前端错误监控
可疑区域增加 try-catch全局监控JS异常window.onerror全局监控静态资源异常window.addEventListener捕获没有catch的promise异常：unhandledrejectionVUE errorHandler 和 React componentDidCatch监控网页崩溃：window对象的load和beforeunloa...
2019-08-21 22:33:00
77
转载 安装docker
移除旧的版本：$ sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ ...
2019-08-21 13:21:00
45
转载 addEventListener绑定传参函数并解绑
<a class="btn">go</a><a class="remove">remove</a>var btn = document.getElementsByClassName('btn')[0], remove = document.getElementsByClassName('remove')[0];...
2019-08-21 11:58:00
864
转载 docker安装完成后测试feisky/nginx:latest 出现问题（Unable to find image 'feisky/nginx:latest' locally）...
安装docker之后，测试feisky/nginx镜像，终端卡在Unable to find image 'feisky/nginx:latest' locally位置 docker在本地没有找到feisky/nginx镜像，也没有从docker仓库中拉取镜像，出项这个问题的原因：是应为docker服务器再国外，我们在国内无法正常拉取镜像，所以就需要我们为docker设置国内阿里云的...
2019-08-21 10:22:00
3297
转载 前端上报概述
一、性能上报 为性能优化提供数据论证h5 performance接口调用耗时（埋点统计）运行耗时二、系统监控 监控系统的可靠性PV（访问量）成功监控错误监控三、其他统计 产品数据分析平台统计业务统计简单上报new Image().src=`${your.report.url}`;// ...
2019-08-20 22:54:00
265
转载 理解Yarn的执行流程和组件作用
Yarn引入案例1.学生找院长报到，院长给学生一个学号2.院长比较忙，继续找主任处理学生事务3.系主任找院办给学生分配资源（书本）4.主任找张老师教授java5.张老师给学生安排座位6.学生向主任反馈学习情况7.主任向院长反馈学生信息8.家长找院长询问孩子学习情况，院长找主任向家长解释Yarn的执行流程<...
2019-08-20 21:50:00
95
转载 MapReduce案例运行及分词
首先查询进程，发现hadoop并没有启动如何配置hadoop，参考我的另外一篇博文《Hadoop环境准备》接下来，启动hadoopstart-all.sh或者start-dfs.shstart-yarn.sh启动成功后，在浏览器中输入：<主机名>:8088master:8088/clustera. Clus...
2019-08-20 13:35:00
324
转载 .NET Framework学习笔记（三）
类型与通用语言运行时4.类型基础CLR要求每个类型最终都要继承System.Object类型。New操作符所执行的工作：1. 从托管堆中分配指定类型所需数量的字节来作为存储其对象的内存空间2. 初始化对象的附加成员：一个为指向类型方法表的指针，一个为SyncBlockIndex3. 传入new操作符中指定的参数，调用类型的实例构...
2019-08-20 02:20:03
96
转载 Java虚拟机(JVM)知多少
本文大量参考：https://www.cnblogs.com/lfs2640666960/p/9297176.html概述 JVM是JRE的一部分。它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。JVM有自己完善的硬件架构，如处理器、堆栈、寄存器等，还具有相应的指令系统。Java语言最重要的特点就是跨平台运行。使用JVM就是为了支持与操...
2019-08-20 00:28:00
87
转载 node起服务
const http=require('http'); // 引入http模块const hostname='127.0.0.1'; // 主机const port=3000; // 端口const server=http.createServer((req,res)=>{ re...
2019-08-19 22:48:00
153
转载 Scala高阶函数与泛型
1.Scala中的函数在Scala中，函数是“头等公民”，就和数字一样。可以在变量中存放函数，即：将函数作为变量的值（值函数）。2. scala中的匿名函数，即没有函数名称的函数，匿名函数常作为高阶函数的参数使用(x: Int) => x*3 =>使用场景小结： a. 用于匿名函数中连接函数声明和函数体 b. 用于模式匹配中，连接cas...
2019-08-19 15:45:00
159
转载 Scala语言面向对象
apply1. 面向对象的基本概念： 把数据及对数据的操作方法放在一起，作为一个相互依存的整体-----对象，面向对象的三大特征：封装、多态、继承2. scala类的定义· class Emploee(name: String, age: Int) *scala中定义类时无访问限制符public | protected | default | private ...
2019-08-19 14:09:00
105
转载 Scala语言基础
1. Scala语言的特点 a. 多范式编程语言，面向对象(抽象、封装)和函数式(过程、结果)编程 b. 代码简洁 ==>可读性较差 c. 代码会被变异成Java字节码，运行在JVM上2. Scala语言基础 a. 变量修饰符 var ：修饰的变量在整个生命周期内可被重新赋值 val ：类似于java中的final，初始化后不能被重新赋值...
2019-08-19 12:56:00
70
转载 Ubuntu系统添加用户权限
一、首先创建一个新用户：sudo adduser hadoop其次设置密码：sudo passwd hadoop如果无法使用root密码，请输入如下命令:sudo passwd root二、更改用户权限sudo, 更改/etc/sudosers文件cd /etcsudo vim /etc/sudosers添加hadoop ALL=...
2019-08-18 12:14:00
464
转载 java学习笔记之基础篇
java选择语句之switch//switch可以用于等值判断 switch (e) //int ,或则可以自动转化成int 的类型,(byte char short)枚举jdk 7中可以防止字符串{ case 6: System.out.println(); break; case 5: Syste...
2019-08-17 14:16:00
132
转载 英文写作report
WrittingAttached FilesMaybe you might want to get familiar about how to write the Final report.Please find bellow some useful material:http://www.uefap.com/writing/genre/report.htmht...
2019-08-17 14:08:00
459
转载 推荐一个地图调用网站
mapbox_access_tokenhttps://docs.mapbox.com/android/navigation/examples/转载于:https://www.cnblogs.com/zhichun/p/11368418.html
2019-08-17 14:01:00
80
转载 前端学习网站
前端网站学习地址https://www.codecademy.com/freeCodeCampW3schoolsPlease have a look at the templates ato https://www.w3schools.com/w3css/w3css_templates.asp o https://getbootstrap.com/docs...
2019-08-17 14:00:00
83
转载 更改mac电脑图片默认存储位置
1.创建存储位置screenshot2.打开terminal3.defaults write com.apple.screencapture location ~/Desktop/screenshot转载于:https://www.cnblogs.com/zhichun/p/11368409.html
2019-08-17 13:59:00
3444
转载 GIT版本管理
# 学习网站##### 猴子都能懂的git入门https://backlog.com/git-tutorial/cn/intro/intro1_1.html修改内容的提交：第1行：提交修改内容摘要第2行：空行第3行：修改的理由###### 工作树和索引数据库--(提交)索引--(提交)工作树###### 安装git下面链接的网页介绍免费的SourceT...
2019-08-17 13:56:00
40
转载 GIT常见问题及其解决方案
问题：remote: Permission to beijing01/learn_github.git denied to liuhongyang02. fatal: unable to access 'https://github.com/beijing01/learn_github.git/': The requested URL returned error: 403To ...
2019-08-17 13:55:00
245
转载 做一个完整的Hadoop项目
1. 完整的数据流图由同ip访问的次数：SQL查询select ip,count(ip) from tablename Group by ip;基于Hadoop分析使用Hadoop分析，需要两轮的Mapreduce处理Hive不支持对数据的更改和添加转载于:https://www.cnblogs.com/zh...
2019-08-17 13:44:00
1489
转载 Ubuntu hadoop配置之修改主机名
1.查看主机名的方法方法1:在终端输入hostname方法2:提示符liuhongyang@ubuntu:~$liuhongyang:用户名ubuntu: 主机名~: 当前路径方法3:uname -a2.临时修改主机名hostname <主机名>...
2019-08-17 08:36:00
2333
转载 Hadoop环境准备
Hadoop安装主要步骤：（1）安装运行环境（2）修改主机名和用户名（3）配置静态IP地址（4）配置SSH无密码连接（5）安装JDK (6) 配置Hadoop (7) 格式化 hdfs并验证安装下面详细解释（1）安装运行环境，本文采用的是ubuntu镜像文件,大小在1.95G.下载链接为：https://ubuntu.com...
2019-08-16 23:03:00
98
转载 linux ubuntu 18首次使用root权限
第一次获得root密码：sudo passwd root切换成root用户，获得root权限exit 退出，回到初始用户转载于:https://www.cnblogs.com/zhichun/p/11366776.html...
2019-08-16 23:00:00
155
转载 计算机学习网站推荐
算法系列：1.LintCodehttps://www.lintcode.com/problem/在线刷题网站，阶梯式训练，可帮助你更快速深入地了解各类面试题型，提供专业导师写的最优代码作为参考https://www.jiuzhang.com/solutions/(Lintcode 标准答案查询——lintcode 的参考答案网站，提供最优解）...
2019-08-16 18:42:00
420
转载 Java写入文件
Overviewhttps://www.baeldung.com/java-write-to-fileBufferedWriter, PrintWriter, FileOutputStream, DataOutputStream, RandomAccessFile, FileChannelpublic void whenWriteSt...
2019-08-16 18:35:00
322
转载 java解决回文数
递归解决palindrome问题如果String仅仅只是一个或者0个字符，则它就是palindrome否则比较字符串第一个和最后一个字符如果第一个和最后一个字符不同，那么就不是palindrome否则strip off第一个和最后一个字符，然后比较剩余的string 1 public class palindrome { 2 public s...
2019-08-16 18:34:00
116
转载 Cloudera版本的hadoop环境准备
对于普通学习用户而言，应该先下载一个虚拟机, 推荐vmware,因为是免费的。Hadoop环境有三个版本：Apache版本（Apache基金会）CDH(cloudera公司)hdp版本(HortOnWorks公司)虚拟机下载地址：https://www.virtualbox.org/wiki/DownloadsCDH版本虚拟机可以...
2019-08-16 12:14:00
115
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人