关闭

[置顶] Linux操作笔记

1.关闭死程序[root@node3 ~]# ps -aux | grep fire root 2105 0.0 0.0 112660 964 pts/0 S+ 15:10 0:00 grep –color=auto fire root 10620 0.0 0.1 1215096 239328 ? Sl 1月11 19:02 /usr/...
阅读(519) 评论(0)

TensorFlow学习笔记:3、TensorFlow基本概念

TensorFlow学习笔记:3、TensorFlow基本概念3.1 计算图与operationTensor(张量)意味着N维数组,Flow(流)意味着基于数据流图的计算,TensorFlow 代表着张量从图象的一端流动到另一端的计算过程,是将复杂的数据结构传输至人工智能神经网中进行分析和处理的过程。TensorFlow 使用图(Graphs)来表示计算任务,图中的节点称之为 op(operatio...
阅读(10) 评论(0)

TensorFlow学习笔记:2、TensorFlow超简单入门程序

TensorFlow学习笔记:2.TensorFlow第一个简单入门程序(HelloWorld)2.1 代码说明 import tensorflow as tf 加载TensorFlow hello=tf.constant(“Hello,TensorFlow!”) 定义常量 session=tf.Session() 启动TensorFlow的session print(session.run(...
阅读(13) 评论(0)

TensorFlow学习笔记:1、TensorFlow快速下载与安装

TensorFlow学习笔记:1.TensorFlow安装与测试1.1 安装python-pip[root@node1 ~]# yum install -y python-pip1.2 安装TensorFlow直接执行命令pip install tensorflow即可安装TensorFlow。[root@node1 ~]# pip install tensorflow Collecting ten...
阅读(20) 评论(0)

Spark2.x学习笔记:第13章 Spark SQL快速入门

第13章 Spark SQL快速入门13.1 本地表(1)准备数据[root@node1 ~]# mkdir /tmp/data [root@node1 ~]# cat data/ml-1m/users.dat |tr -s "::" "," >> /tmp/data/users.dat [root@node1 ~]# tail -5 /tmp/data/users.dat 6036,F,25,1...
阅读(68) 评论(0)

Spark2.x学习笔记:第12章 Shuffle机制

第12章 Shuffle机制12.1 背景在MapReduce计算框架中,shuffle是连接Map和Reduce之间的桥梁。Map的输出要用到Reduce中必须经过shuffle这个环节,shuffle的性能高低直接影响了整个程序的性能和吞吐量。Shuffle的本义是洗牌、混洗,把一组有一定规则的数据尽量转换成一组无规则的数据,越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程,把...
阅读(318) 评论(0)

Spark2.x学习笔记:第11章 RDD依赖关系与stage划分

第11章 RDD依赖关系与stage划分Spark中RDD的高效与DAG图有着莫大的关系,在DAG调度中需要对计算过程划分stage,而划分依据就是RDD之间的依赖关系。11.1 窄依赖与宽依赖针对不同的转换函数,RDD之间的依赖关系分类窄依赖(narrow dependency)和宽依赖(wide dependency, 也称 shuffle dependency)。(1)窄依赖 窄依赖是指1个...
阅读(82) 评论(0)

大型机、小型机、x86架构以及ARM架构服务器的区别

1. 大型机又名大型主机,使用专用的处理器指令集、操作系统和应用软件。故此,大型机不仅仅是一个硬件上的概念,更是一个硬件和专属软件的有机整体。大型机是上世纪六十年代发展起来的计算机系统。经过四十年的不断更新,其稳定性和安全性在所有计算机系统中是首屈一指的。 现在的大型机的性能,并不能用单一的每秒并行浮点计算能力来体现,大型机相比于其他计算机系统,其主要特点在于其RAS(Reliability, A...
阅读(63) 评论(0)

Airflow安装教程

1. 安装python-pip[root@node1 ~]# yum install -y python-pip2. 安装airflow[root@node1 ~]# pip install airflow 如果上面命令安装较慢,可以使用下面命令国内源安装。[root@node1 ~]# pip install -i https://pypi.tuna.tsinghua.edu.cn/simple...
阅读(81) 评论(0)

bunzip2: command not found

错误信息:bunzip2: command not found[/root/anaconda2] >>> PREFIX=/root/anaconda2 Anaconda2-5.0.0-Linux-ppc64le.sh: line 317: bunzip2: command not found tar: This does not look like a tar archive tar: Exiti...
阅读(75) 评论(0)

查看Hadoop HDFS 中的一个文件对应block信息

如果需要查看Hadoop HDFS 中的一个文件对应block信息,比如block数、block大小、block所在位置等,可以使用hdfs fsck命令。1. HDFS示例文件[root@node1 data]# hdfs dfs -ls /user/root/input Found 7 items -rw-r--r-- 3 root supergroup 281498 2017-09...
阅读(194) 评论(0)

scala.Predef$.$scope()Lscala/xml/TopScope$和not found: type Application异常

intellij idea+scala+spark开发的程序之前一直正常,今天提示下面错误。问题1 java.lang.NoSuchMethodError: scala.Predef$.$scope()Lscala/xml/TopScope$;Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties...
阅读(61) 评论(0)

Google sshxcute优化版+二次封装类

1.Google sshxcute优化版源码下载: https://gitee.com/chengyuqiang/sshxcute2.二次封装package cn.hadron.util;import java.util.HashMap; import java.util.Map; import net.neoremind.sshxcute.core.ConnBean; import net.ne...
阅读(45) 评论(0)

Ansible快速入门

1.ansible简介ansible是基于 Python 开发的,是比 puppet 和 saltstack 更轻量级的运维自动化工具。无服务器端,使用时直接运行命令即可,不需要在被管控主机上安装任何客户端,所以任何一台机器只要安装了 ansible 就可以管控其他主机。基于模块工作,可使用任意语言开发模块。也可使用 yaml 语言定制剧本 playbook;基于SSH工作;可实现多级指挥。2.安装...
阅读(83) 评论(0)

Java Web防止用户重复登录(同一用户同时登录)的一种实现方案

1.思路在Java web项目中,有时需要防止用户重复登录,解决方案有多种。 这里给出一个简单的解决方案:在处理登录的login方法中,先查询数据库验证下该用户是否存在,如果存在 判断该登录账户是否已经锁定了, 然后从application内置作用域对象中取出所有的登录信息,查看该username账户是否已经登录,如果登录了,就友好提示下,反之表示可以登录,将该登录信息以键值对的方式保存在appl...
阅读(218) 评论(0)

sed命令实例

sed命令行格式为:sed [-nefri] 'command 输入文本常用选项: - -n∶使用安静(silent)模式。在一般 sed 的用法中,所有来自STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后,则只有经过sed特殊处理的那一行(或者动作)才会被列出来。 - -e∶直接在指令列模式上进行 sed 的动作编辑; - -f∶直接将 sed 的动作写在一个档案内,...
阅读(50) 评论(0)

Saltstack 快速入门教程

1.介绍Saltstack 比 Puppet 出来晚几年,是基于Python 开发的,也是基于 C/S 架构,服务端 master 和客户端 minions ;Saltstack 和 Puppet 很像,可以说 Saltstatck 整合了 Puppet 和 Chef 的功能,更加强大,更适合大规模批量管理服务器,并且它比 Puppet 更容易配置。 三大功能: 远程命令执行,配置管理(服务,文件...
阅读(136) 评论(0)

NoClassDefFoundError: org/hibernate/engine/transaction/spi/TransactionContext

1.问题在整合Hibernate 5.2和spring4.3时出现了这个问题。HTTP Status 500 – Internal Server ErrorType Exception ReportMessage Request processing failed; nested exception is org.springframework.transaction.CannotCreateTra...
阅读(65) 评论(0)

org.springframework.beans.factory.NoSuchBeanDefinitionException: No bean named 'userService' availab

1.问题描述Hibernate+Spring+SpirngMVC+Maven异常信息: org.springframework.beans.factory.NoSuchBeanDefinitionException: No bean named ‘userService’ availab7-Sep-2017 09:02:56.306 严重 [RMI TCP Connection(2)-127.0....
阅读(110) 评论(0)

Java软件工程师面试题汇总(持续更新)

实战问题1、一个请求超过20秒了,你怎么排查和解决;2、说说你觉得做的比较不错的项目,讲一下项目结构和用到的框架,再说一下为什么要选择这些框架;3、“商品秒杀”的解决方案;(1)秒杀架构设计理念 限流: 鉴于只有少部分用户能够秒杀成功,所以要限制大部分流量,只允许少部分流量进入服务后端。 削峰:对于秒杀系统瞬时会有大量用户涌入,所以在抢购一开始会有很高的瞬间峰值。高峰值流量是压垮系统很重要的原因,所...
阅读(47) 评论(0)

Spark2.x学习笔记:第10章 简易电影受众系统

第10章 简易电影受众系统本章内容,源码参考了https://github.com/XichengDong/simplespark10.1 数据准备(1)下载数据 https://grouplens.org/datasets/movielens/ https://grouplens.org/datasets/movielens/1m/ 单击ml-1m.zip链接即可下载 (2)上传到HD...
阅读(234) 评论(0)
175条 共9页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:114970次
    • 积分:2855
    • 等级:
    • 排名:第13117名
    • 原创:173篇
    • 转载:1篇
    • 译文:1篇
    • 评论:41条
    博客专栏
    最新评论