他25岁进贝尔实验室,32岁提信息论,40岁办达特茅斯会议,晚年患上阿兹海默 | 人物志

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/89715015

整理 | 琥珀

出品 | AI科技大本营(ID:rgznai100)

有人说:现在的创新主要是把几十年前的理论成果,通过技术和工程来实现。如今产业发展遇到了瓶颈,需要新的理论突破和基础技术的发明。人类的文明和技术不断推进,旧的不去,新的不来,如何才能剔除那些阻碍我们进步的绊脚石,为人类提供新的发展空间呢?

1956 年达特茅斯会议被广泛认为是 “人工智能(Artificial Intelligence)” 概念诞生的标志性事件,会议的主要发起四人组分别是:约翰 · 麦卡锡(John McCarthy)、马文 · 闵斯基(Marvin L. Minsky)、Nathaniel Rochester、克劳德 · 艾尔伍德 · 香农(Claude Elwood Shannon)。然而,就是这样“一小群”科学家发起的会议催生了后来为人们所认知的人工智能革命,其中讨论的关于自动计算机、如何为计算机编程使其能够使用、语言神经网络、计算规模理论、自我改造、抽象、随机性与创造性等议题,直到如今都是人工智能领域致力于积极解决的难题。

今天,我们就来讲讲会议发起人之一的克劳德 · 艾尔伍德 · 香农(Claude Elwood Shannon)。

大家都知道计算领域最高奖项是图灵奖, 从 1966 年起,由美国计算机学会(ACM)为了纪念图灵的卓越贡献而设立。不久前颁给深度学习三巨头 Yoshua Bengio、Yann LeCun、Geoffrey Hinton 的奖项正是图灵奖。同样,在信息领域,为表彰做出卓越贡献的科学家和工程师,香农奖的地位同样重要。

在首届 IEEE 学会设立的香农奖项颁奖典礼上,香农领取了以自己名字命名的香农奖。

美国数学家、电子工程师和密码学家,被誉为信息论的创始人……

1937 年,21 岁的香农在其硕士论文中提出,将布尔代数应用于电子领域,能构建并解决任何逻辑和数值关系,被誉为有史以来最具水平的硕士论文之一。1948 年,香农发表了《通信的数学理论》论文,提出了信息熵的概念,并创建了信息论。

现在天才这个词用的太随意,实际上天才是很少见的,真正配得上这个词的人不多。实际上,香农的学术贡献已经不需要世人再多赘言了。

除了是信息论之父外,香农还是一位投资人、发明爱好者、解谜爱好者和爱搞恶作剧的人。

还有一则故事是,香农竟然是托马斯 · 爱迪生的远方亲戚。

再回到 1956 年,麦卡锡邀请他一同发起达特茅斯会议时,香农已是贝尔实验室的顶尖级大佬了。

有人总结道:“由香农所开创的信息论,不单单是信息通信科学的基石,直至今日,仍然是是深度学习的重要理论依据。信息论综合运用了微积分、概率论和统计学等诸多学科,在深度学习中,也起到了非常重要的作用:如常见的交叉熵损失函数;在最大信息增益的基础上构建决策树;在 NLP 和演讲中广泛使用的 Viterbi 算法;在机器翻译中常用的 RNN 和各种类型的模型中普遍使用的编码器和解码器等。”

近日出版的《香农传》一书,全面回顾了香农精彩的一生。从 0 到 1 开创信息时代,将一切信息完全抽象为比特,将一切信号都用 0 和 1 进行编码,一个非常了不起的突破。

试想:如何将一段视频压缩至 50% 以上,同时不损失任何信息,但压缩也是有限度的,更高的压缩会使文件下载和分享更为方便,但压缩后的文件质量会永久受损?

毫不过誉地讲,如果没有这个理论,也就没有了标准压缩图片、或是压缩文件、高清电影、数字通讯等。但它的影响远不止此,尽管信息的数学理论无法说明任何关于数据的意义,但是它打开了一种新的可能,关乎我们如何理解自身,使得我们都能够用数据测量和编码。

或许,会有人追问谁才是真正的人工智能奠基者?是约翰 · 冯 · 诺依曼?还是艾伦 · 图灵?说实话,缺了谁都不行。

1916 年 4 月 30 日,香农出生于美国密歇根州一个叫做 Gaylord 的小镇,1936 年获得密歇根大学的数学与电气工程学士学位 ,1940 年获得 MIT 数学硕士和博士学位,1941 年进入贝尔实验室工作。晚年,香农患上阿尔兹海默症,在与病魔抗争了很长一段时间后,2001 年 2 月 26 日,香农逝世,享年 84 岁。

忘了说一句,今天是 4 月 30 日,也是信息科学之父香农的 103 周年诞辰。

生日快乐,香农!

(本文为AI科技大本营整理文章,转载请微信联系 1092722531)

展开阅读全文

写给进入40岁的自己

02-20

2014年是个波折的一年,其间身体肠胃出现了问题,看病花了很多钱,身体遭罪了许多。感到rn医院是另外一个屠宰场,自己几次吃药的钱够买一年包子吃,奉劝大家干这行的真的是得有个好身体rn支撑的,一病回到解放前。rn2014年是个工资在北京达到顶点的阶段,当然自己应该感谢**为自己申请,另外rn也深深的体会到公司逐渐加大负荷的过程。公司裁员,裁掉一个网管,两个程序员,rn把负荷全部累加到现有的三个人身上了,拿公司财务总监说的话,不怕人多就怕不饱和。rn在公司里,公司只允许加班,不允许隔月调休,在公司里,技术部是成本部门,得不到rn任何老板赏识,技术老大**说话不起多少作用,其间公司换合同,自己因为不到六个月,一rn分补助没有。年终奖只有1000多元。想想10年前的自己,现在委曲求全在一个单位,怨不得别人?rnrn2014年是我上次离开**公路段11年的过程,此次竟然单位会再次让自己回去,感到rn悲喜交加的过程。我首先得反应是我不回去,因为回去工资低到2000多元,如何养活家,rn而且我还有房贷,可是在爸爸,姐姐,尤其是老婆的劝说下,我感到不能放弃体制内的单位。rn11年前在那个单位我学得得不到重视而单位人际关系复杂,我离开那个体制内的单位,11年间rn保险也交了8万左右了吧,身在帝都的我,左右为难,最终我想我必须回去先保住体制内的单位。rn争取业余拦点活来解决部分生活费用。这对我来说是个不小的挑战。rn2014年我总的来说,命运不佳,身体出现问题花掉近2万,所幸调整好了。rn2014年我面临转折,我爱这个行业,但是身体和精力方面,我无法再更上一层楼,我想过rn考pmp证书,因为身体原因放弃了。rn2015年我需要面临的问题,和需要做出的规划:rn(1) 面临环境的挑战,当我从外边的it公司到了老家的事业单位,首先会再一次碰到11年前rn碰到的问题,单位里面人际复杂,想重用必须找靠山,拉关系。rn(2) 财务问题,我从北京到了小县城,工资下落很多,如何来养活家人。rn(3) 我已经到了转型的年龄,还能回到it公司吗?像360一些公司招的技术我都懂点,可是rn他们是不给我机会的。rn我如果解决好了,则自己转型的问题自然解决,如果解决不好,又是前后为难,我的智商一般,rn情商简单甚至单存,财商很低,我的家庭我是主要挣钱的,面对未来,我惶恐。rn2015年希望我身体变好,希望我能够适应水土,在单位找到自己的用武之地,希望能够挣6万rn就行,毕竟小地方花销小,希望自己能找到志同道合的人一起做点项目,实现有一天我也能开着车带着rn老婆孩子回老家风风光光过年。rn 论坛

一个40岁程序员的经历

01-06

有好几年没有上CSDN了,最近密码泄露事件,才让人想起久违的csdn,还好,通过注册邮箱顺利的找回了密码。rn十年前的时候,常在csdn潜水的老人们,现在还有人再来csdn吗?估计大部分都已经转行,当管理者或者当老板了吧,仍然做软件的可能只是极少数了。曾经以为自己已经脱离了IT,可以不用再去写代码了,不经意间却又无可奈何的继续干着老本行。今年,终于进入到40岁这个队伍里了。rn几年前曾计划过,买上几套房子,炒炒股票,工资要求不高,够用就行,小日子就会过得很不错了。但计划没有实现,市场环境又大幅变化,面临着孩子的教育问题,还有老人的赡养,使得生活压力陡然上升。rn我这个人,可以说是一个没有理想,没有目标,得过且过的人,不适合当管理者,如果脱离IT,也不知道自己能做什么,到现在这个年龄,也真的不想再去怎么努力改变什么,就是总有一个想法,如何平平淡淡的过日子。但是孩子马上就要上小学了,LP是一个很要强的 人,对孩子的培养极为重视,不惜花费重金进行培养。想过舒服的日子,那是没门了,继续努力吧。rn还是说说我的经历吧,也让各位小弟小妹来批判批判我这个失败的程序员。rn本人是非IT专业毕业的,90年代中期在一家新疆石油公司工作,但是非常喜欢软件开发,不听老上级的劝告,非要转行去搞软件,现在想来,是有点太冲动了,应该先在行业专业上好好干一段时间了,有了足够的行业背景再去做软件,不过放到当时,也没办法预测以后会如何发展,自己喜欢什么,就不管不顾的去做了。我到认为自己有一点优点,就是不浪费时间,在国企做软件的3年里,天天努力学习软件编程技术,熬夜是经常的事,也就是在这个时候遇到了LP。当时工作劲头真是很大,每天经常工作到夜里3点后,才离开办公室 ,早上还坚持跑步,10点左右就到办公室继续干活,差不多每天睡眠时间也就4-5个小时,对比现在,年轻真的是精力充沛,现在每天没有个8小时的睡眠,一天都精神不振。就是这样,为日后打下了很好的技术基础。rn99年吧,全国经济都很不景气的时候,石油行业也一样没有逃掉,油价跌倒了10美元/桶,全国只有大庆油田一家盈利,其他所有油田全部在亏损,而且是巨亏。那时很多人都不懂计算机,windos95的安全性也很差,我和几个同事,有时就以进入机关的一些电脑查看内部资料为乐,一次偷看了一个内部文件,说马富才当年来油田视察时,油田领导曾抱怨说,现在开采成本大,亏损太厉害,马就说了,那就把井关了,不生产不就行了,这都是文件上记录的原话,想想,如果所有井都关了,那油田12万职工都喝西北风啊,那年也真的是很惨,有一个钻井单位,一半以上的钻机没活干,员工都去修马路,挖沟,工资只发一部分,我们单位,有些新来的毕业生,每月只有400多元,在那年也开始了轰轰烈烈的减员增效活动,鼓励员工买断工龄。还是石油职工太傻,一辈子都是稳稳当当的,每月千把块钱的工资,小日子都过得很不错,也许是因为日过得太安稳,风险意识很差,第一次遇到石油经济不景气,短期之内收入少了点,大家的怨气就来了,再加上上级管理层的悲观论调,让很多人觉得石油企业要完蛋了,石油管理局当时给买断的补偿很诱惑人,根据工龄给补偿,有些人可以拿到10万或更多,这可是一笔巨款啊,在外部环境恶化,和巨款的诱惑之下,很多人直接去主动买断了,对于买断后的干什么的问题,很多人的想法也很简单,有些人去开店,有些人去另外找公司,还有些人,就是想在家玩,因为钱多啊,很多人都是没什么计划性的,没有什么技术,也没啥经商能力,想想在油田那个地方,市场就那么小,突然冒出成千上万的做生意的人,能会好到那里去。这群人数相当多,事过两年之后,石油行业又迅速的恢复元气,工资节节攀高之后,很多人可能感到受骗了,导致各地石油公司不断出现大量的静坐,示威活动,直到几年前依然没有平息rn当时我们单位的未来也有很多说法,有说要被整体甩向市场的,有说要被划到副业的,年轻稍大的都要提前退休,留下的岗位少,有些人要被淘汰掉,搞得人心惶惶的,那些日子,单位经常出去聚餐,就是为了讨论出路问题,感觉就是在吃散伙饭。还是年轻有优势,想想自己有了3年软件开发的功底,还用怕什么,一心就想离开企业去外地发展,最后直接辞职走人,去了一家事先联系好的在北京的软件公司,随后两年,单位陆陆续续走了几个人,不过大部分人都选择了留下。十多年后的今天来看,走的人,有些不错,有些却依然在不断的努力打拼,留下的人,随着油价的不断攀升,日子也在发生着翻天覆地的变化。rn待续.... 论坛

25岁软件实施的迷茫

09-22

大家好,我是大专读的机械,大2那会年轻气盛久就退学了,在13年时候偶然去接触到IT行业,去培训机构学了JAVA开发,培训完之后,错综复杂的原因错过了JAVA开发,最后去一家公司做了医疗软件的实施,刚开始觉得很满足,很不错,可以到处出差,还有补贴,但是做了3年之后,出差出的郁闷到吐。而且在职期间唯一和IT沾边的技术数据库,但也是很肤浅的一些操作。觉得自己3年来技术没有任何长进,但是与交际沟通能力增长不少。今年年初,下定决心辞职,在去培训机构学一次java开发。结果目前西安的这个大环境不好,找工作很艰难,都找了一个多月了,没有公司愿意要我。基本上都是要求2年经验以上的,另外西安现在的培训机构真的太多了,每个月会量产好多JAVA开发。现在真的很 迷茫。不知道继续去做实施还是坚持找开发。另外我对技术的兴趣一般,就是认为开发工资高,以后的路宽一些而已。个人还是比较喜欢和人沟通,蛮喜欢实施这个职业的,只是不想继续出差了,我真的不想我结婚了,还是四海为家,不在家里照顾家人。假如我去坚持找开发工作,会不会因为兴趣问题这条路也走不长久?还有就是我学历不好,又不是学的这个专业。还有现在真的很迷茫。不知道怎么办了,继续找开发工作还是继续实施。求老师解答,给我一点思路。谢谢大家 论坛

25岁之今夜无眠

07-25

天已亮了,我还在打游戏,体验着麻醉的快感。rn rn 两个月以前,我和同城一个神交很久的网友见面了。女孩很好,不漂亮,rn就像小说里的那样朴实,浑然不知身边的骗子。短暂的交谈之后,大家就像rn跟老朋友道别一样后匆匆离去。本以为我们的故事就此终结,因为我长得不rn帅,脾气也有些古怪。rnrn 那时正是个郁闷的季节,我来这个城市四年了,没有存款,租的房子空荡荡。rn每当阵阵热浪从破旧的门窗涌进来时,心中便有一股无尽的悲哀。刚来的时候rn我的职业是搬运工,由于无学历,农村户口,不善谄媚,始终无法找到舒适的rn位置。凭着假文凭和诚实的面孔,经过无数怀疑的白眼和难言的努力,竟然谋rn到一个程序员的位置,还可以很坦然地领导5个人做开发。虽我为以前每一个老rn板做事都很认真,甚至几个老板都曾让我回去,但说谎的阴影越积越沉,看不清rn自己了。每当别人漫不经心的问我那个学校,我便从容回答"xxx大学"。有时候rn我坐在开着空调的放着爵士的咖啡厅里觉得往事就跟一场梦,以前滴着大粒的汗rn水推着三轮车上坡的那个毛头小伙是我吗?记忆全是为衣食无忧在奔波,我的感rn情世界除几丝淡云一片空白。rnrn 当说谎成为一个习惯,我便毫不费力的给女孩勾勒出了一个真实,上进,有rn涵养的男朋友。除了要在这个城市呆下来,除了要做一个对社会有用的人,除了rn深沉的夜晚兴奋地读着她的短信,一切都是我的假想。女孩却深信不疑,每次我rn想鼓起勇气跟她说坦白,就如跟公司老板坦白一样,但看到她幸福无邪的表情就rn停住了。我已是她第一个男人,我很在乎她,怕她流泪,伤心,不吃饭,于是继rn续拉着她的手去逛街,散步,找小吃。就像键盘和显示器,想她,感受她,想念rn已成为我生活的一部分。女孩常在某个静静的角落靠在我肩上,憧憬我们的未来,rn我心痛,很希望幸福就在那一刻停止,就像小时候贪玩不想看到夕阳一样。但一rn切总有告白的一天,我为什么还在孜孜不倦维护着白马王子的形象呢?rn rn 生活在甜蜜,愧疚,忙碌中交叉继续了两个月,我通过成考进入那个大学也rn渡过了一学期。女孩的妈妈来看她了,女孩是独生子,将她和我事情告诉了她妈。rn原本的罪恶又加上狠狠一笔,我不能再继续骗下去了。但该如何坦白和面对呢? 论坛

我的30岁前和30岁后

08-14

看到这里这么多人关心30岁的问题,其实我觉得不算是个问题,30岁以前和以后,各有各的生活滋味,别太当回事。rnrn我20岁时参加工作,在那时起的若干年里,一直是公司里年龄最小的员工。因为出道早,长久以来我一直以年龄小、同年龄人还在上大学时我就挣钱了这样的观点让自己感到一些优越感,以前兄弟们一起吃饭,因为他们还在上学,我已经挣工分了,都是我请的课,掏钱的时候还乐呵呵的,有一种当老大的快感。rnrn忽然有一天,工作环境中出现了一些比我小的同事,兄弟们也都有了工作,免不了有混得比我好的。我总结了我30以后和30以前的一些区别。rnrn1、30以前不讲究钱,有多少花多少,想买什么只要够钱就立即下手,从来不想钱花钱了该怎么办。rn 30岁以后想的就是钱,什么挣钱干什么,吃力不讨好的事绝对不干。rnrn2、30岁以前工作效率高,傻干、闷干、通宵干,别人不让干的都想抢来干,别人干不了的自己不会干也抢过来试试。rn 30岁以后越来越抬杠了,别人不让干的绝对不干,觉得该谁干的谁就该负责完成。rnrn3、30岁以前一心做技术朋友圈子小,绝大多数时间都在想技术问题。rn 30岁以后接触客人多了,朋友也多了,没有心思一心扎根技术了,饭局多了、Party多了、私生活多了,同样丰富多彩。rnrn4、30岁以前还是普通员工,做好被分配的任务,按时完成交货,然后下班,工作无压力。rn 30岁以后当小领导了,要管理除技术以外的许多杂事,还要做一些业务配合工作以及部门业绩,感觉到了工作压力,但接触到了新的领域,学到了技术以外的东西。rnrn5、30岁以前很少观察自己周围的人员琐事,觉得自己周围全是好人。rn 30岁以后变得八卦了,人与人之间的戒心和距离变大了,但在这复杂社会里,人不能一直太单纯。rnrn6、30岁以前身体好,运动量大,每周都有体育活动。rn 30岁以后从来不运动,没事的时候就想躺着还有去Massage。rnrn7、20岁的时候和人讲我要在30岁的时候退休,做不为挣钱而做的事情。rn 30岁的时候,想都不敢往那想。rnrn8、30岁以前,还经常怀念与初恋女友的美好时光。rn 30岁以后,连初恋女友的生日是几月几日都记不起来了。rnrnrn人总是会成长,不要太在意30岁以前自己是个什么,30岁以后会有什么样的生活,少给自己制定远大的生活目标,我只想这个月我该过什么样的日子。rnrnYesterday is history.rnTomorrow is a mystery. rnToday is a gift, that's why it is called the present.rnrnrnrnrnrnrnrnrnrnrnrnrnrnrnrnrn 论坛

32岁开始学习.net求建议

06-11

在我15岁的时候,作为考试拿年级第一的奖励,爸妈给我买了一部小霸王学习机,我从Basic开始了编程之旅。此后参加过市里和省里的编程比赛,基本都是市里一流,省里二流的水平。高考时候,报了上海某学校的通信工程专业,后来被调剂到金融学专业,虽然没有继续编程的学习,但是课余偶尔还是会用一点编程的东西。大三在飞利浦实习,就用PowerBuilding搞了一个小程序,让本来人工处理的一些数据,让本来需要两个月的工作,一个月就完成了(还包括开发时间),有一点小小的满足感。rnrn不过这段经历并没有给我的职业发展带来任何帮助,甚至当我向求职公司HR介绍的时候,给他们造成一种我的长处是编程的错觉。于是,在此后的面试中,我再也没有提及编程的技能,以免误导求职公司,被拒之门外。大四毕业之后,我进入了某一国际会计师事务所工作,当时是让人有点羡慕的一份职业,收入也还算不错。在此后的五年中,别说编程,就是Excel的宏我都懒得用,每天接触电脑,除了上网聊天,看网页,就是Office系列。自己怎么也不会想到,几年以后会再次下定决心来学习一门应用开发技术。rnrn2009年,在这个事务所工作五年之后,我选择了离开,进入了现在的公司,负责财务部门的整体运营。现在的公司虽说也是一家国际公司,也曾经跻身世界五百强,但是公司内部系统十分的落后,很多的报表都是人工的处理,非常没有效率。不仅如此,2010年、2011年,由于部门内部好几位女同事相继休产假,让我的工作压力陡然增加,工作的质量也无法得到保证。一般的做法,这种时候是请一些实习生来暂时帮忙,顶过这段的。但根据我的经验,对于财务工作来说,实习生能做的很少,却能在工作中制造很大的麻烦。所以我还是尽量减少实习生能够接触的范围,让正式员工轮岗来解决一些同事休产假的问题。当我加班处理报表的时候,我是多么想能够有一个小的应用,我可以定期导入数据,它帮我进行一些固定的处理。rnrn或许有朋友说,现在程序员很多,我不需要自己学,花钱找人开发就好了。的确现在能编网页的人很多,但是能够编出来有用的应用的人,却真正不那么好找,能像论坛里面各位一样有这么高水平的,不仅需要学习,更需要很好的职业道德,需要真正的热爱编程这个事业。另一方面,在这种外资公司,开发再小的应用也是大事,需要Capex(资本性支出),需要预算,流程长的吓人,比自己学编程还麻烦。rnrn最终,我觉得,还是要把当年的那些东西再拿起来,一方面可以做一些小的应用,让它帮我做一些机械性的工作,节约出来时间做更多的事情,另一方面,也能让老板了解使用信息技术的好处,在争取预算时候,能够有更多的说服力。我现在已经快32岁了,对大家来说,算是一个老人了吧,学这个技术难度肯定要比诸位大多了,不过我觉得自己还能试试看,对自己还是有一点信心的。每天下班回家,都自己鼓捣着我的笔记本,试着编一点代码,学一点东西。慢慢下来,还是有一点感觉了。rnrn希望用一年的时间,学到一个中级水平吧,本不指望吃编程这碗饭,能够用.net和Sqlserver,做一些数据的处理应用,不必自己开发很复杂的控件,外观啥的也不用太讲究,只要能够完成数据处理就好。为啥选.net技术呢,因为工作过程中的信息,很多是不适合放在单机上处理的,用.net程序,可以让其他同事的资料上传到服务器处理,然后仅反馈最终结果,中间的过程可以比较容易控制。rnrn本来想一直潜水来着,但看到精华区里面学英语的哥们辞职回家学.net,非常感动,就写了这些东西,一方面算是新人报道,另一方面,也希望能够各位高手给一点建议,从哪里入手比较好一些,推荐一点自学教材、视频啥的。本人学过VB/C++和Powverbuilder数据库的应用开发,能看懂基本的C#语言,但是对于.net的构架不是特别的清楚,SQLserver的配置啥的也不想研究太深,只是希望能够在应用层面做一些简单的开发,毕竟公司还有专业的IT,只要能在家里搭一个简单的实验库,功能开发好了,到公司deploy就行。rnrn好了,楼下好听的不好听的都欢迎啊,刚来没多少米,积分没多少,不好意思了。 论坛

没有更多推荐了,返回首页