chuanjiaoye5017-CSDN博客

转载南师大教育技术学初试复试调剂经验分享

南师大教育技术学考研经验分享 1 概述... 1 2 初试准备经验... 2 2.1 政治部分... 2 2.2 英语部分... 2 2.3 c语言和web部分... 2 2.4 数据结构部分... 3 2.5 教学设计部分... 3 2.6 初试资料网盘分享... 3 ...

2019-04-08 22:13:00 3186

转载 Intellij IDEA使用Maven搭建spark开发环境（scala）

http://blog.csdn.net/u012877472/article/details/51000690 Intellij Idea搭建Spark开发环境 http://mvnrepository.com mvnrepository http://blog.csdn.net/u0115...

2017-12-14 13:57:00 345

转载 Eclipse中Maven打包程序并在Linux中运行

Eclipse中Maven打包程序并在Linux中运行 1 在Eclipse中新建Maven工程新建后的maven工程如下：新建Maven工程的默认pom.xml如下，不需要修改： <project xmlns="http://maven.apache...

2017-12-13 16:15:00 552

转载长时间运行在yarn上的spark-Streaming作业调优

对于长时间运行的Spark Streaming作业，一旦提交到YARN群集便需要永久运行，直到有意停止。任何中断都会引起严重的处理延迟，并可能导致数据丢失或重复。YARN和Apache Spark都不是为了执行长时间运行的服务而设计的。但是，它们已经成功地满足了近实时数据处理作业的常驻需求。成...

2017-12-13 09:33:00 198

转载技术人才怎样转行做管理

自我认知准备。 “我性格内向，只喜欢钻研技术，不善与人交流，很难跟客户沟通，不适应管理岗位……”多年从事技术工作的工程师会有一种惯性思维，认为自己只善于和机器打交道，不善于管理，因而一方面向往管理岗位，一方面却没有信心。其实，技术与管理并不能明显地分割开来。完全依赖技术开发的公司，其...

2017-12-04 17:33:00 232

转载我理解的企业技术管理（四）——如何从技术转向技术管理

我面试过的人前前后后总有个百多号人，往往在被问及“后续的职业规划”问题时，80%以上的人回答大意都是：先做技术，积累到一定阶段后，转行做管理。确实，在中国的IT业，似乎有这么一种说法，中国缺少纯粹技术大拿的土壤，中国的IT人员年纪大了最好还是转行做管理。我没这么高的水平来讨论这么艰深的...

2017-12-04 17:17:00 264

转载我理解的企业技术管理（三）——如何做好技术管理

上两篇整理了技术管理的概念和内容，下面结合运营商企业的状况来思考一下如何做好技术管理。一、技术管理的组织对企业来说，按照职能进行部门划分是最常见的，所以往往开始就只有一个技术部门，但是随着企业业务的多元化，常规的做法是按照业务划分不同的技术部门，如XX（业务）技术部，然后将一些公用的技...

2017-12-04 17:15:00 523

转载我理解的企业技术管理（二）——技术管理的内容

这一篇来梳理一下技术管理的内容，尤其是针对IT企业特别是运营商企业的技术管理内容。百度百科或者智库的内容如出一辙，但确实是整理地比较全的。企业技术管理的内容主要有： (1)进行科学技术预测，制定规划并组织实施； (2)改进产品设计，试制新产品； (3)制订和执行技术标准，进行产品...

2017-12-04 17:12:00 419

转载我理解的企业技术管理（一）——什么是技术管理

这几年面试过的人不少，经常会问对方，后续的职业发展规划是什么？由于我们的企业性质带有区域运营商色彩，所以大部分人都会回答，刚进来先做一段时间的技术，然后再逐渐转行到管理，总结来说就是技术管理工作。自己也被常问及“最近在做啥”，我一般也只能回答“做技术工作”，再进一步也只能说“技术管理类工作...

2017-12-04 17:09:00 1089

转载技术管理的核心内容 - 提高团队技能

最近与同事聊天，从软件质量保证的方法论谈论到了技术管理。技术管理的内涵到底是什么？在此通过这篇文章做一个小小的总结和适当的外延。技术管理给人的感觉更多是工作量评估、项目计划、项目进度跟踪等，但这只是技术管理工作的一部分。大体上，可以将技术管理分为两个纬度，如图1所示。图1 ...

2017-12-04 17:08:00 156

转载程序员增量发展与规划人生

在这个IT从业人员多如过江之鲫的今天，IT民工、码农到处都是；本科如狗，硕士满街走，只有博士还能抖一抖；街边随便哪个修钥匙档上面都贴着广告“200元企业建站！立等可取！”技术人员如何安身立命？众所周知如果一个物体想要够快，就必须加速度。同样时间下加速度的高低直接决定了物体所拥有的能量。 ...

2017-12-04 16:51:00 106

转载程序员的职业规划

程序员的职业规划：有了内功（职业规划的修炼）和外功（技术能力）的修炼才可以在IT生涯里游刃有余，不会迷失方向和目标，才能加快和促进IT职业生涯的成功。程序员职业规划，就是在知己知彼的基础上确定个人的职业发展目标及路径，并采取有效行动，从而达成目标的过程。程序员职业规划，也可以理解为是对...

2017-12-04 16:31:00 159

转载程序员是否适合创业

首先，必须郑重声明：任何一个职业的人都适合创业，程序员也一样但为什么题目又叫“程序员不适合创业”呢？这和本文想探讨的内容有关，本文想探讨的是：程序开发这个行业所要求人具备的一些素质是否与创业这个活动所要求人具备的一些素质是相冲突的？本文的目的是：启发那些去创业的程序员，...

2017-11-20 14:41:00 103

转载曾经做过的40道程序设计课后习题总结（四）

曾经做过的40道程序设计课后习题总结（四）课后习题目录 1 斐波那契数列 2 判断素数 3 水仙花数 4 分解质因数 5 杨辉三角 6 学习成绩查询 7 求最大公约数与最小公倍数 8 完全平方数 9 统计字母、空格、数字和其它字符个数 10 求主对角线之和 11 完数求解 12 求...

2017-11-20 11:08:00 204

转载 Exception while getting block list java.lang.ArrayIndexOutOfBoundsException

datanode修改本地存储路径后，数据不一致导致namenode报一下错误： 2017-11-16 17:31:44,759 WARN org.apache.hadoop.hdfs.server.balancer.Balancer: Exception while getting blo...

2017-11-20 10:35:00 203

转载 spark使用zipWithIndex和zipWithUniqueId为rdd中每条数据添加索引数据

spark的rdd中数据需要添加自增主键，然后将数据存入数据库，使用map来添加有的情况是可以的，有的情况是不可以的，所以需要使用以下两种中的其中一种来进行添加。 zipWithIndex def zipWithIndex(): RDD[(T, Long)] 该函数将RDD中的元素和这...

2017-09-12 11:09:00 635

转载 eclipse启动时和开发时优化

1 eclipse.ini参数优化 -startup plugins/org.eclipse.equinox.launcher_1.3.201.v20161025-1711.jar --launcher.library plugins/org.eclipse.equinox.launcher...

2017-09-07 09:12:00 89

转载 scala IDE for Eclipse运行spark时显示找不到或无法加载主类

scala IDE for Eclipse运行spark时显示找不到或无法加载主类 scala的项目有错误，运行时，显示找不到无法加载主类 eclipse的代码没有错误，原因是，java跟scala的类写在了同项目下混合java 和scala 不编译的问题我的做法是：右键项目-prop...

2017-08-14 09:50:00 614

转载大数据面试题整理

JAVA相关 1-1）List 与set 的区别？老掉牙的问题了，还在这里老生常谈：List特点：元素有放入顺序，元素可重复，Set特点：元素无放入顺序，元素不可重复。 1-2）数据库的三大范式？原子性、一致性、唯一性 1-3）java 的io类的图解 ...

2017-06-15 09:53:00 397

转载 hadoop1.x 和 hadoop 2.x 区别, 2.5 2.6 2.7之间的区别

1.x 2.x 区别相当不错 http://f.dataguru.cn/thread-212329-1-1.html 2.5.2中功能提升的简单概述： Common 　　1、 HTTP proxy server中的权限控制(Authentication)有所提升。如果你通过代理服务...

2017-02-14 11:24:00 299

转载 Windows中Eclipse中Hadoop2.6.0配置

Windows10（64位）中Eclipse Luna Service Release 2 (4.4.2 64位)中Hadoop2.6.0配置 1 系统配置 Windows10（64位） Eclipse Luna Service Release 2 (4.4.2 64位)...

2016-04-14 14:47:00 73

转载 /.org.eclipse.jdt.core.external.folders/.link0解决方法

Refreshing /.org.eclipse.jdt.core.external.folders/.link0的解决方法原因是eclipse启动时，刷新android源码关联，但是由于某种原因，源码目录被修改（比如，我主动给该目录改名，或者手欠动了里面某个文件），eclipse...

2016-03-08 15:20:00 516

转载 Mapreduce任务实现邮件监控

Mapreduce任务实现邮件监控这里主要使用Java自带邮件类实现Mapreduce任务的监控，如果Mapreduce任务报错则发送报错邮件。Mapreduce的报错信息通过hdfs中的日志获取，里面的报错日志是json格式，这里先将json转换成xml格式然后再发送到邮件。...

2015-08-18 11:51:00 105

转载曾经做过的40道程序设计课后习题总结（三）

曾经做过的40道程序设计课后习题总结（三）课后习题目录 1 斐波那契数列2 判断素数3 水仙花数4 分解质因数5 杨辉三角6 学习成绩查询7 求最大公约数与最小公倍数8 完全平方数9 统计字母、空格、数字和其它字符个数10 求主对角线之和11 完数求解12 求s=a+aa+aaa+a...

2015-08-11 11:19:00 132

转载曾经做过的40道程序设计课后习题总结（二）

曾经做过的40道程序设计课后习题总结（二）课后习题目录 1 斐波那契数列2 判断素数3 水仙花数4 分解质因数5 杨辉三角6 学习成绩查询7 求最大公约数与最小公倍数8 完全平方数9 统计字母、空格、数字和其它字符个数10 求主对角线之和11 完数求解12 求s=a+aa+aaa+a...

2015-06-30 15:38:00 117

转载 Hadoop2.3.0上部署Mahout0.10，并测试单机版与分布式版个性化推荐程序

Hadoop2.3.0上部署Mahout0.10，并测试单机版与分布式版个性化推荐程序 1Eclipse中Hadoop2.3.0及Mahout0.10相关jar包部署 Hadoop2以上需要使用Mahout0.10以上版本才可以直接运行，否则需要重新编译Mahout相关ja...

2015-06-30 15:03:00 159

转载 mapreduce将mysql数据导入到Hdfs问题

今天在执行一个sql语句的时候遇到了一个错误 java.sql.SQLException: Error writing file '/tmp/MYkn6JQ8' (Errcode: 28)。搜了一下，这个问题应该是因为错误提示中提示的临时目录的空间不足导致的。这个错误...

2015-04-14 17:06:00 120

转载 Eclipse将写好的java代码转换为unix格式

Eclipse将写好的java代码转换为unix格式一般设置是这样的：但是这种方式只对新建的java文件起作用，已经写好的java需要进行以下操作：转换前：转换后： ...

2015-04-13 14:34:00 340

转载 Java工程中添加依赖jar包不起作用问题总结

Java工程中添加依赖jar包不起作用问题总结此次总结两种方式的依赖问题 1在Eclipse中添加依赖jar包不起作用问题这种方式可能是Eclipse缓存，或者Eclipse还没有反应过来。例如Eclipse中有个Java工程以前依赖了a.jar文件，但是在工程中删除这个文...

2015-01-15 15:53:00 1445

转载 Eclipse中执行Hbase所需jar包

Eclipse中执行Hbase程序需要导入的jar包如下： 1Hadoop全部jar包 2Hbase部分jar包 Hbasejar包不能多也不能少，多了会冲突，少了会提醒找不到相应类，Hbase这些jar包整理了一下如下图所示： ...

2014-12-01 16:23:00 1425

转载 NoClassDefFoundError: org/cloudera/htrace/Trace

Eclipse中执行Hbase程序时出现java.lang.NoClassDefFoundError: org/cloudera/htrace/Trace 这是由于缺少htrace-core.jar，该包在Hbase的lib文件中，加载至Eclipse的CLASSPATH中即可。 ...

2014-12-01 16:00:00 249

转载 Hbase存储详解

Hbase存储详解　　started by chad walters and jim 　　2006.11 G release paper on BigTable 　　2007.2 inital Hbase prototype created as Hadoop contrib 　　2...

2014-11-28 11:51:00 409

转载多个字段中如何按其中两个进行排序（二次排序）

多个字段中如何按其中两个进行排序（二次排序） 1原理二次排序就是首先按照第一字段排序，然后再对第一字段相同的行按照第二字段排序，注意不能破坏第一次排序的结果。这里主要讲如何使用一个Mapreduce就可以实现二次排序。Hadoop有自带的SecondarySor...

2014-11-27 09:33:00 1103

转载写给所有的IT民工们：IT一行有钱人真是很多

从来没有想过自己会加入这一行，从开始自己喜欢的专业通讯，到后来喜欢的管理，想过是专业高手，幻想过管理专家，却从来没有想过进入这一行，但真的在我刚刚离开校园的时候发生了，短短几天，对这个行业有了一个感性认识，其实最让自己伤感的不是自己没有干这一行的经验，而是代理的人，要找的人都是薪水1...

2014-11-24 17:12:00 284

转载基于用户的协同过滤推荐算法

什么是推荐算法推荐算法最早在1992年就提出来了，但是火起来实际上是最近这些年的事情，因为互联网的爆发，有了更大的数据量可以供我们使用，推荐算法才有了很大的用武之地。最开始，所以我们在网上找资料，都是进yahoo，然后分门别类的点进去，找到你想要的东西，这是一个人工过程，到后来，...

2014-11-18 14:51:00 189

转载曾经做过的40道程序设计课后习题总结（一）

曾经做过的40道程序设计课后习题总结（一）课后习题目录 1 斐波那契数列 2 判断素数 3 水仙花数 4 分解质因数 5 杨辉三角 6 学习成绩查询 7 求最大公约数与最小公倍数 8 完全平方数 9 统计字母、空格、数字和其它字符个数 10 求主对角线之和 11 完数求解 12 求s=a...

2014-11-12 10:50:00 147

转载 Java自学之道（二） Java开发环境准备

Java自学之道（二） Java开发环境准备　　这里主要讲JDK的配置，JDK的安装和安装一般的应用软件一样，下载JDK 安装就可以了，但安装后主要是配置好才可用。我相信很多初学者和我刚开始一样，安装好JDK以后就直接点击桌面上的Java图标，这种行为虽然看起来很可爱，但...

2014-11-12 10:06:00 74

转载给程序入门者的一点建议

Java自学之道（一）给程序入门者的一点建议在书场上看到很多有关Java的书籍，但这就像进了瓜地里挑瓜挑的眼花，很多人不知道自己到底该选那本书好。很快精通Java可能只有很少一部分人能实现，那就是他曾经精通过哪门语言，因为程序设计语言很好学，只要你精通一门语言，就可以做到一通百通...

2014-11-11 10:13:00 61

转载 Java类的加载、链接和初始化

Java类的加载、链接和初始化 Java字节代码的表现形式是字节数组（byte[]），而Java类在JVM中的表现形式是java.lang.Class类的对象。一个Java类从字节代码到能够在JVM中被使用，需要经过加载、链接和初始化这三个步骤。这三个步骤中，对开发人员直接可...

2014-11-10 15:10:00 66

转载 Java安全详解

Java安全详解安全性是Java应用程序的非功能性需求的重要组成部分，如同其它的非功能性需求一样，安全性很容易被开发人员所忽略。当然，对于Java EE的开发人员来说，安全性的话题可能没那么陌生，用户认证和授权可能是绝大部分Web应用都有的功能。类似Spring Securit...

2014-11-10 14:54:00 92

空空如也

空空如也