内存性能问题

个人最近想到一个问题，当程序启动时。将数据全部加载到内存中这样性能会高吗？还是在用的时候在读取来的实惠写呢？
我觉得经常用的放入内存中会好些。不经常用的，或者用的只是为了一个特定的功能来这样做会很浪费资源。不知道各位是怎么看的。
希望大家能说说自己的看法。